二线全屋定制十大公认品牌,优化方案答案,企石网站建设公司,购物网站建设要求1.redis持久化 Redis的所有数据都是保存在内存中#xff0c;因此redis重启后数据就丢失了#xff0c;所以需要不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)#xff1b;或者把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。 …1.redis持久化 Redis的所有数据都是保存在内存中因此redis重启后数据就丢失了所以需要不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)或者把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。 redis提供两种方式进行持久化一种是RDB持久化原理是将Reids在内存中的数据库记录定时 dump到磁盘上的RDB持久化另外一种是AOFappend only file持久化原理是将Reids的操作日志以追加的方式写入文件。
2.redis持久化-RDB 在指定的时间间隔能对你的数据进行快照存储。默认开启
2.1 持久化配置 输入命令查看配置 vi /usr/local/redis/redis.conf RDB的持久化配置
# 时间策略
save 900 1
save 300 10
save 60 10000
# 文件名称
dbfilename dump.rdb
# 文件保存路径 redis.conf所在目录下
dir ./
# 导入时是否检查
rdbchecksum yes
配置解释 save 900 1 表示900s内如果有1条是写入命令就触发产生一次快照可以理解为就进行一次备份 save 300 10 表示300s内有10条写入就产生快照 那么为什么需要配置这么多条规则呢因为Redis每个时段的读写请求肯定不是均衡的为了平衡性能与数据安全我们可以自由定制什么情况下触发备份。所以这里就是根据自身Redis写入情况来进行合理配置。 当然如果想要禁用RDB配置也是非常容易的只需将save 900 1等注释起来然后在save的最后一行写上save 修改时间配置 修改完之后一定要重启redis输入shutdown停止redis服务器然后进入/usr/local/redis/目录输入以下命令重启redis redis-server ./redis.conf 2.2 RDB的原理
在Redis中RDB持久化的触发分为两种自己手动触发与Redis定时触发。
针对RDB方式的持久化手动输入以下命令完成手动持久化 save会阻塞当前Redis服务器直到持久化完成线上应该禁止使用。 bgsave该触发方式会fork一个子线程由子进程负责持久化过程因此阻塞只会发生在fork子进程的时候。
而自动触发的场景主要是有以下几点 根据我们的 save m n 配置规则自动触发 从节点全量复制时主节点发送rdb文件给从节点完成复制操作主节点会触发 bgsave 执行 debug reload 时 执行 shutdown时如果没有开启aof也会触发。
由于 save 基本不会被使用到我们重点看看 bgsave 这个命令是如何完成RDB的持久化的。 这里注意的是 fork 操作会阻塞导致Redis读写性能下降。我们可以控制单个Redis实例的最大内存来尽可能降低Redis在fork时的事件消耗。
3.redis持久化-AOF 记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据。默认关闭
3.1 AOF的配置 AOF是redis的一种持久化方式用来记录所有的写操作但是随着时间增加aof文件会越来越大所以需要进行重写将内存中的数据重新以命令的方式写入aof文件。 在重写的过程中由于redis还会有新的写入为了避免数据丢失会开辟一块内存用于存放重写期间产生的写入操作等到重写完毕后会将这块内存中的操作再追加到aof文件中。 # 是否开启aof
appendonly yes
# 文件名称
appendfilename appendonly.aof
# 同步方式
appendfsync everysec
# 重写触发配置
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
配置解释 appendfsync everysec 它其实有三种模式: always 把每个写命令都立即同步到aof很慢但是很安全 everysec 每秒同步一次是折中方案 no redis不处理交给OS来处理非常快但是也最不安全
一般情况下都采用 everysec 配置这样可以兼顾速度与安全最多损失1s的数据。 auto-aof-rewrite-percentage 是设置aof rewrite触发时机的一个参数当当前的aof文件大小超过上一次rewrite后aof文件的百分比后触发rewrite 例如将100改为800 即当前的aof文件超过上一次重写后aof文件的8倍时才会再次rewrite这样可以保证短期内不会再次进行重写操作。 auto-aof-rewrite-min-size aof文件重写最小的文件大小即最开始aof文件必须要达到这个文件时才触发后面的每次重写就不会根据这个变量了(根据上一次重写完成之后的大小).此变量仅初始化启动redis有效.如果是redis恢复时则lastSize等于初始aof文件大小.
修改之后要重启redis
向redis中添加一些key-value
然后在redis文件夹下查看是否有appendonly.aof文件 可以删除appendonly.aof文件然后在重启redis看看数据有哪些
3.2 AOF的原理 由于AOF 文件都是追加的随着服务器的运行 AOF 文件会越来越大体积过大的 AOF 文件对 redis 服务器甚至是主机都会有影响而且在 Redis 重启时加载过大的 AOF 文件需要过多的时间这些都是不友好的那 Redis 是如何解决这个问题的呢Redis 引入了重写机制来解决 AOF 文件过大的问题。 AOF的整个流程大体来看可以分为两步一步是命令的实时写入如果是 appendfsync everysec 配置会有1s损耗第二步是对aof文件的重写。 对于增量追加到文件这一步主要的流程是命令写入→追加到aof_buf→同步到aof磁盘。那么这里为什么要先写入buf在同步到磁盘呢如果实时写入磁盘会带来非常高的磁盘IO影响整体性能。 Redis AOF 文件重写是把 Redis 进程内的数据转化为写命令同步到新 AOF 文件的过程重写之后的 AOF 文件会比旧的 AOF 文件占更小的体积这是由以下几个原因导致的 进程内已经超时的数据不再写入文件 旧的 AOF 文件含有无效命令如 del key1、hdel key2、srem keys、set a111、set a222等。重写使用进程内数据直接生成这样新的AOF文件只保 留最终数据的写入命令 多条写命令可以合并为一个如lpush list a、lpush list b、lpush list c可以转化为lpush list a b c。为了防止单条命令过大造成客户端缓冲区溢 出对于 list、set、hash、zset 等类型操作以64个元素为界拆分为多条。 重写之后的 AOF 文件体积更小了不但能够节约磁盘空间更重要的是在 Redis 数据恢复时更小体积的 AOF 文件加载时间更短。AOF 文件重写跟 RDB 持久化一样分为手动触发和自动触发手动触发直接调用 bgrewriteaof 命令就好了我们后面会详细聊一聊这个命令自动触发就需要我们在 redis.conf 中修改以下几个配置 auto-aof-rewrite-percentage 800 auto-aof-rewrite-min-size 64mb auto-aof-rewrite-percentage代表当前 AOF文件空间 aof_current_size和上一次重写后 AOF 文件空间aof_base_size的比值默认是 100%也就是一样大的时候 auto-aof-rewrite-min-size表示运行 AOF 重写时 AOF 文件最小体积默认为 64MB也就是说 AOF 文件最小为 64MB 才有可能触发重写
满足了这两个条件Redis 就会自动触发 AOF 文件重写AOF 文件重写的细节跟 RDB 持久化生成快照有点类似下面是 AOF 文件重写流程图 在重写期间由于主进程依然在响应命令为了保证最终备份的完整性因此它依然会写入旧的AOF file中如果重写失败能够保证数据不丢失。 为了把重写期间响应的写入信息也写入到新的文件中因此也会为子进程保留一个buf防止新写的file丢失数据。 重写是直接把当前内存的数据生成对应命令并不需要读取老的AOF文件进行分析、命令合并。 AOF文件直接采用的文本协议主要是兼容性好、追加方便、可读性高可认为修改修复。
不论是RDB还是AOF都是先写入一个临时文件然后通过 rename 完成文件的替换工作。
4. RDB与AOF的区别
4.1 RDB优点 一旦采用该方式那么你的整个Redis数据库将只包含一个文件这对于文件备份而言是非常完美的。比如你可能打算每个小时归档一次最近24小时的数据同时还要每天归档一次最近30天的数据。通过这样的备份策略一旦系统出现灾难性故障我们可以非常容易的进行恢复。 对于灾难恢复而言RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。 性能最大化。对于Redis的服务进程而言在开始持久化时它唯一需要做的只是fork出子进程之后再由子进程完成这些持久化的工作这样就可以极大的避免服务进程执行IO操作了。 相比于AOF机制如果数据集很大RDB的启动效率会更高。
4.2 RDB缺点 如果你想保证数据的高可用性即最大限度的避免数据丢失那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象此前没有来得及写入磁盘的数据都将丢失。 由于RDB是通过fork子进程来协助完成数据持久化工作的因此如果当数据集较大时可能会导致整个服务器停止服务几百毫秒甚至是1秒钟。
4.3 AOF的优点 该机制可以带来更高的数据安全性即数据持久性。Redis中提供了3种同步策略即每秒同步、每修改同步和不同步。事实上每秒同步也是异步完成的其效率也是非常高的所差的是一旦系统出现宕机现象那么这一秒钟之内修改的数据将会丢失。而每修改同步我们可以将其视为同步持久化即每次发生的数据变 化都会被立即记录到磁盘中。可以预见这种方式在效率上是最低的。至于无同步无需多言我想大家都能正确的理解它。 由于该机制对日志文件的写入操作采用的是append模式因此在写入过程中即使出现宕机现象也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题不用担心在Redis下一次启动之前我们可以通过redis-check-aof./redis-check-aof --fix appendonly.aof工具来帮助我们解决数据一致性的问题。 如果日志过大Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。 AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上我们也可以通过该文件完成数据的重建。
4.4 AOF的缺点 对于相同数量的数据集而言AOF文件通常要大于RDB文件。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。 根据同步策略的不同AOF在运行效率上往往会慢于RDB。总之每秒同步策略的效率是比较高的同步禁用策略的效率和RDB一样高效。 二者选择的标准就是看系统是愿意牺牲一些性能换取更高的缓存一致性aof还是愿意写操作频繁的时候不启用备份来换取更高的性能待手动运行save的时候再做备份rdb。rdb这个就更有些 eventually consistent的意思了。
