银川网站建设联系电话,郑州网站建设廴汉狮网络,西安营销策划推广公司,厦门人才网官网招聘目录
1.什么是主从复制#xff1f;
2.优势
3.主从复制的原理
4.全量复制和增量复制 4.1 全量复制 4.2 增量复制
5.相关问题总结 5.1 当主服务器不进行持久化时复制的安全性 5.2 为什么主从全量复制使用RDB而不使用AOF#xff1f; 5.3 为什么还有无磁盘复制模式#xff…目录
1.什么是主从复制
2.优势
3.主从复制的原理
4.全量复制和增量复制 4.1 全量复制 4.2 增量复制
5.相关问题总结 5.1 当主服务器不进行持久化时复制的安全性 5.2 为什么主从全量复制使用RDB而不使用AOF 5.3 为什么还有无磁盘复制模式 5.4 为什么还会有从库的从库的设计 5.5 读写分离及其中的问题 1.什么是主从复制 主从复制是指将一台Redis服务器的数据复制到其他的Redis服务器。前者称为主节点(master)后者称为从节点(slave)数据的复制是单向的只能由主节点到从节点。 通常情况下Master写为主、Slave读为主。如下图所示 主从库之间采用的是读写分离的方式。
读操作主库、从库都可以接收写操作首先到主库执行然后主库将写操作同步给从库。
2.优势
主从复制的作用主要包括
数据冗余主从复制实现了数据的热备份是持久化之外的一种数据冗余方式。故障恢复当主节点出现问题时可以由从节点提供服务实现快速的故障恢复实际上是一种服务的冗余。负载均衡在主从复制的基础上配合读写分离可以由主节点提供写服务由从节点提供读服务即写Redis数据时应用连接主节点读Redis数据时应用连接从节点分担服务器负载尤其是在写少读多的场景下通过多个从节点分担读负载可以大大提高Redis服务器的并发量。高可用基石除了上述作用以外主从复制还是哨兵和集群能够实施的基础因此说主从复制是Redis高可用的基础。
3.主从复制的原理 主从复制过程大体可以分为3个阶段连接建立阶段即准备阶段、数据同步阶段、命令传播阶段下面分别进行介绍。
1. 连接建立阶段
该阶段的主要作用是在主从节点之间建立连接为数据同步做好准备。
步骤1保存主节点信息
从节点服务器内部维护了两个字段即masterhost和masterport字段用于存储主节点的ip和port信息。
需要注意的是slaveof是异步命令从节点完成主节点ip和port的保存后向发送slaveof命令的客户端直接返回OK实际的复制操作在这之后才开始进行。 步骤2建立socket连接
从节点每秒1次调用复制定时函数replicationCron()如果发现了有主节点可以连接便会根据主节点的ip和port创建socket连接。如果连接成功则
从节点为该socket建立一个专门处理复制工作的文件事件处理器负责后续的复制工作如接收RDB文件、接收命令传播等。
主节点接收到从节点的socket连接后即accept之后为该socket创建相应的客户端状态并将从节点看做是连接到主节点的一个客户端后面的步骤会以从节点向主节点发送命令请求的形式来进行 步骤3发送ping命令
从节点成为主节点的客户端之后发送ping命令进行首次请求目的是检查socket连接是否可用以及主节点当前是否能够处理请求。
从节点发送ping命令后可能出现3种情况
1返回pong说明socket连接正常且主节点当前可以处理请求复制过程继续。
2超时一定时间后从节点仍未收到主节点的回复说明socket连接不可用则从节点断开socket连接并重连。
3返回pong以外的结果如果主节点返回其他结果如正在处理超时运行的脚本说明主节点当前无法处理命令则从节点断开socket连接并重连。 步骤4身份验证
如果从节点中设置了masterauth选项则从节点需要向主节点进行身份验证没有设置该选项则不需要验证。从节点进行身份验证是通过向主节点发送auth命令进行的auth命令的参数即为配置文件中的masterauth的值。
如果主节点设置密码的状态与从节点masterauth的状态一致一致是指都存在且密码相同或者都不存在则身份验证通过复制过程继续如果不一致则从节点断开socket连接并重连。
步骤5发送从节点端口信息
身份验证之后从节点会向主节点发送其监听的端口号主节点将该信息保存到该从节点对应的客户端的slave_listening_port字段中该端口信息除了在主节点中执行info Replication时显示以外没有其他作用。
2. 数据同步阶段
主从节点之间的连接建立以后便可以开始进行数据同步该阶段可以理解为从节点数据的初始化。具体执行的方式是从节点向主节点发送psync命令Redis2.8以前是sync命令开始同步。
数据同步阶段是主从复制最核心的阶段根据主从节点当前状态的不同可以分为全量复制和部分复制下面会专门讲解这两种复制方式以及psync命令的执行过程这里不再详述。
需要注意的是在数据同步阶段之前从节点是主节点的客户端主节点不是从节点的客户端而到了这一阶段及以后主从节点互为客户端。原因在于在此之前主节点只需要响应从节点的请求即可不需要主动发请求而在数据同步阶段和后面的命令传播阶段主节点需要主动向从节点发送请求如推送缓冲区中的写命令才能完成复制。
3. 命令传播阶段
数据同步阶段完成后主从节点进入命令传播阶段在这个阶段主节点将自己执行的写命令发送给从节点从节点接收命令并执行从而保证主从节点数据的一致性。
在命令传播阶段除了发送写命令主从节点还维持着心跳机制PING和REPLCONF ACK。由于心跳机制的原理涉及部分复制因此将在介绍了部分复制的相关内容后单独介绍该心跳机制。
4.全量复制和增量复制 注意在2.8版本之前只有全量复制而2.8版本后有全量和增量复制 全量同步复制比如第一次同步时增量同步复制只会把主从库网络断连期间主库收到的命令同步给从库 4.1 全量复制 当我们启动多个 Redis 实例的时候它们相互之间就可以通过 replicaofRedis 5.0 之前使用 slaveof命令形成主库和从库的关系之后会按照三个阶段完成数据的第一次同步。 4.2 增量复制 如果主从库在命令传播时出现了网络闪断那么从库就会和主库重新进行一次全量复制开销非常大。从 Redis 2.8 开始网络断了之后主从库会采用增量复制的方式继续同步。 repl_backlog_buffer它是为了从库断开之后如何找到主从差异数据而设计的环形缓冲区从而避免全量复制带来的性能开销。如果从库断开时间太久repl_backlog_buffer环形缓冲区被主库的写命令覆盖了那么从库连上主库后只能乖乖地进行一次全量复制所以repl_backlog_buffer配置尽量大一些可以降低主从断开后全量复制的概率。而在repl_backlog_buffer中找主从差异的数据后如何发给从库呢这就用到了replication buffer。
replication bufferRedis和客户端通信也好和从库通信也好Redis都需要给分配一个 内存buffer进行数据交互客户端是一个client从库也是一个client我们每个client连上Redis后Redis都会分配一个client buffer所有数据交互都是通过这个buffer进行的Redis先把数据写到这个buffer中然后再把buffer中的数据发到client socket中再通过网络发送出去这样就完成了数据交互。所以主从在增量同步时从库作为一个client也会分配一个buffer只不过这个buffer专门用来传播用户的写命令到从库保证主从数据一致我们通常把它叫做replication buffer。
如果在网络断开期间repl_backlog_size环形缓冲区写满之后从库是会丢失掉那部分被覆盖掉的数据还是直接进行全量复制呢
对于这个问题来说有两个关键点 一个从库如果和主库断连时间过长造成它在主库repl_backlog_buffer的slave_repl_offset位置上的数据已经被覆盖掉了此时从库和主库间将进行全量复制。 每个从库会记录自己的slave_repl_offset每个从库的复制进度也不一定相同。在和主库重连进行恢复时从库会通过psync命令把自己记录的slave_repl_offset发给主库主库会根据从库各自的复制进度来决定这个从库可以进行增量复制还是全量复制。
这里存在实时复制的一些知识 5.相关问题总结 5.1 当主服务器不进行持久化时复制的安全性 在进行主从复制设置时强烈建议在主服务器上开启持久化当不能这么做时比如考虑到延迟的问题应该将实例配置为避免自动重启。 为什么不持久化的主服务器自动重启非常危险呢为了更好的理解这个问题看下面这个失败的例子其中主服务器和从服务器中数据库都被删除了。
我们设置节点A为主服务器关闭持久化节点B和C从节点A复制数据。这时出现了一个崩溃但Redis具有自动重启系统重启了进程因为关闭了持久化节点重启后只有一个空的数据集。节点B和C从节点A进行复制现在节点A是空的所以节点B和C上的复制数据也会被删除。当在高可用系统中使用Redis Sentinel(哨兵)关闭了主服务器的持久化并且允许自动重启这种情况是很危险的。比如主服务器可能在很短的时间就完成了重启以至于Sentinel都无法检测到这次失败那么上面说的这种失败的情况就发生了。
如果数据比较重要并且在使用主从复制时关闭了主服务器持久化功能的场景中都应该禁止实例自动重启。 5.2 为什么主从全量复制使用RDB而不使用AOF
1、RDB文件内容是经过压缩的二进制数据不同数据类型数据做了针对性优化文件很小。而AOF文件记录的是每一次写操作的命令写操作越多文件会变得很大其中还包括很多对同一个key的多次冗余操作。在主从全量数据同步时传输RDB文件可以尽量降低对主库机器网络带宽的消耗从库在加载RDB文件时一是文件小读取整个文件的速度会很快二是因为RDB文件存储的都是二进制数据从库直接按照RDB协议解析还原数据即可速度会非常快而AOF需要依次重放每个写命令这个过程会经历冗长的处理逻辑恢复速度相比RDB会慢得多所以使用RDB进行主从全量复制的成本最低。
2、假设要使用AOF做全量复制意味着必须打开AOF功能打开AOF就要选择文件刷盘的策略选择不当会严重影响Redis性能。而RDB只有在需要定时备份和主从全量复制数据时才会触发生成一次快照。而在很多丢失数据不敏感的业务场景其实是不需要开启AOF的。 5.3 为什么还有无磁盘复制模式
Redis 默认是磁盘复制但是如果使用比较低速的磁盘这种操作会给主服务器带来较大的压力。Redis从2.8.18版本开始尝试支持无磁盘的复制。使用这种设置时子进程直接将RDB通过网络发送给从服务器不使用磁盘作为中间存储。
无磁盘复制模式master创建一个新进程直接dump RDB到slave的socket不经过主进程不经过硬盘。适用于disk较慢并且网络较快的时候。
使用repl-diskless-sync配置参数来启动无磁盘复制。
使用repl-diskless-sync-delay 参数来配置传输开始的延迟时间master等待一个repl-diskless-sync-delay的秒数如果没slave来的话就直接传后来的得排队等了; 否则就可以一起传。 5.4 为什么还会有从库的从库的设计
通过分析主从库间第一次数据同步的过程你可以看到一次全量复制中对于主库来说需要完成两个耗时的操作生成 RDB 文件和传输 RDB 文件。
如果从库数量很多而且都要和主库进行全量复制的话就会导致主库忙于 fork 子进程生成 RDB 文件进行数据全量复制。fork 这个操作会阻塞主线程处理正常请求从而导致主库响应应用程序的请求速度变慢。此外传输 RDB 文件也会占用主库的网络带宽同样会给主库的资源使用带来压力。那么有没有好的解决方法可以分担主库压力呢
其实是有的这就是“主 - 从 - 从”模式。
在刚才介绍的主从库模式中所有的从库都是和主库连接所有的全量复制也都是和主库进行的。现在我们可以通过“主 - 从 - 从”模式将主库生成 RDB 和传输 RDB 的压力以级联的方式分散到从库上。
这样一来这些从库就会知道在进行同步时不用再和主库进行交互了只要和级联的从库进行写操作同步就行了这就可以减轻主库上的压力如下图所示 级联的“主-从-从”模式好了到这里我们了解了主从库间通过全量复制实现数据同步的过程以及通过“主 - 从 - 从”模式分担主库压力的方式。那么一旦主从库完成了全量复制它们之间就会一直维护一个网络连接主库会通过这个连接将后续陆续收到的命令操作再同步给从库这个过程也称为基于长连接的命令传播可以避免频繁建立连接的开销。 5.5 读写分离及其中的问题
在主从复制基础上实现的读写分离可以实现Redis的读负载均衡由主节点提供写服务由一个或多个从节点提供读服务多个从节点既可以提高数据冗余程度也可以最大化读负载能力在读负载较大的应用场景下可以大大提高Redis服务器的并发量。下面介绍在使用Redis读写分离时需要注意的问题。
延迟与不一致问题
前面已经讲到由于主从复制的命令传播是异步的延迟与数据的不一致不可避免。如果应用对数据不一致的接受程度程度较低可能的优化措施包括优化主从节点之间的网络环境如在同机房部署监控主从节点延迟通过offset判断如果从节点延迟过大通知应用不再通过该从节点读取数据使用集群同时扩展写负载和读负载等。
在命令传播阶段以外的其他情况下从节点的数据不一致可能更加严重例如连接在数据同步阶段或从节点失去与主节点的连接时等。从节点的slave-serve-stale-data参数便与此有关它控制这种情况下从节点的表现如果为yes默认值则从节点仍能够响应客户端的命令如果为no则从节点只能响应info、slaveof等少数命令。该参数的设置与应用对数据一致性的要求有关如果对数据一致性要求很高则应设置为no。
数据过期问题
在单机版Redis中存在两种删除策略
惰性删除服务器不会主动删除数据只有当客户端查询某个数据时服务器判断该数据是否过期如果过期则删除。定期删除服务器执行定时任务删除过期数据但是考虑到内存和CPU的折中删除会释放内存但是频繁的删除操作对CPU不友好该删除的频率和执行时间都受到了限制。
在主从复制场景下为了主从节点的数据一致性从节点不会主动删除数据而是由主节点控制从节点中过期数据的删除。由于主节点的惰性删除和定期删除策略都不能保证主节点及时对过期数据执行删除操作因此当客户端通过Redis从节点读取数据时很容易读取到已经过期的数据。
Redis 3.2中从节点在读取数据时增加了对数据是否过期的判断如果该数据已过期则不返回给客户端将Redis升级到3.2可以解决数据过期问题。
故障切换问题
在没有使用哨兵的读写分离场景下应用针对读和写分别连接不同的Redis节点当主节点或从节点出现问题而发生更改时需要及时修改应用程序读写Redis数据的连接连接的切换可以手动进行或者自己写监控程序进行切换但前者响应慢、容易出错后者实现复杂成本都不算低。
总结
在使用读写分离之前可以考虑其他方法增加Redis的读负载能力如尽量优化主节点减少慢查询、减少持久化等其他情况带来的阻塞等提高负载能力使用Redis集群同时提高读负载能力和写负载能力等。如果使用读写分离可以使用哨兵使主从节点的故障切换尽可能自动化并减少对应用程序的侵入。
