无货源一键铺货软件,武安百度seo,乐清手机网站,龙岩城乡建设局网站一 集群原理
集群#xff0c;即Redis Cluster#xff0c;是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成#xff0c;Redis的数据分布在这些节点中。
集群中的节点分为主节点和从节点#xff1a;只有主节点负责读写请求和集群信息的维护#xff1b;从…
一 集群原理
集群即Redis Cluster是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成Redis的数据分布在这些节点中。
集群中的节点分为主节点和从节点只有主节点负责读写请求和集群信息的维护从节点只进行主
节点数据和状态信息的复制。
Cluster模式是Redis的一种高级集群模式它通过数据分片和分布式存储实现了负载均衡和高可用
性。
在Cluster模式下Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据称为
槽位。通过对数据的分片Cluster模式可以突破单节点的内存限制实现更大规模的数据存储。
1 集群的作用
1数据分区
数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点一方面突破了Redis单机内存大小的限制存储容量大大增加另一
方面每个主节点都可以对外提供读服务和写服务大大提高了集群的响应能力。
Redis单机内存大小受限问题在介绍持久化和主从复制时都有提及例如如果单机内存太大
bgsave和bgrewriteaof的fork操作可能导致主进程阻塞主从环境下主机切换时可能导致从节点长
时间无法提供服务全量复制阶段主节点的复制缓冲区可能溢出。
2高可用
集群支持主从复制和主节点的自动故障转移与哨兵类似当任一节点发生故障
时集群仍然可以对外提供服务。
2 Redis集群的作用和优势
高可用性Redis集群可以在某个节点发生故障时自动进行故障转移保证服务的持续可用。
负载均衡Redis集群可以将客户端请求分发到不同的节点上有效地分摊节点的压力提高系统
的整体性能。
容灾恢复通过主从复制或哨兵模式Redis集群可以在主节点出现故障时快速切换到从节点
实现业务的无缝切换。
数据分片在Cluster模式下Redis集群可以将数据分散在不同的节点上从而突破单节点内存限
制实现更大规模的数据存储。
易于扩展Redis集群可以根据业务需求和系统负载动态地添加或移除节点实现水平扩展
3 Redis集群的数据分片
Redis集群引入了哈希槽的概念Redis集群有16384个哈希槽编号0-16383集群的每个节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽通过这个值去找到对应的插槽
所对应的节点然后直接自动跳转到这个对应的节点上进行存取操作
4 以3个节点组成的集群为例
节点A包含0到5460号哈希槽节点B包含5461到10922号哈希槽节点C包含10923到16383号哈希槽
5 Redis集群的主从复制模型
集群中具有A、B、C三个节点如果节点B失败了整个集群就会因缺少5461-10922这个范围的槽
而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成在节
点B失败后集群选举B1位为的主节点继续服务。当B和B1都失败后集群将不可用。
6 Redis集群的工作原理
集群有多组节点每组节点负责一部分哈希槽。
读写数据时先针对key根据crc16的算法得出一个结果然后把结果对 16384 取余。通过这个值
去找到对应的哈希槽的节点进行数据读写。
集群每组节点内做主从复制当主节点宕机的时候就会启用从节点。主节点负责读写请求和集群
信息的维护从节点负责主节点数据和状态信息的复制。
二 搭建Redis 群集模式
redis的集群一般需要6个节点3主3从。方便起见这里所有节点在同一台服务器上模拟
1 以端口号进行区分
3个主节点端口号6001/6002/6003
对应的从节点端口号6004/6005/6006。 cluster ①读写可以负载均衡 ②自动故障转移 ③突破了单机存储限制 master作用 ①可读、可写 ②利用分布式特性 存储上限 ③进行故障转移 slave作用 ①同步自身的master ②提供可读 ③冗余 备份 准备 顶替
2 搭建redis 集群
①关闭防火墙 进行解压
[rootmcb-11-14 ~]# cd /opt
[rootmcb-11-14 opt]# ls
rh
[rootmcb-11-14 opt]# rz -E
rz waiting to receive.
[rootmcb-11-14 opt]# ls
redis-5.0.7.tar.gz rh
[rootmcb-11-14 opt]# tar zxvf r
redis-5.0.7.tar.gz rh/
[rootmcb-11-14 opt]# tar zxvf redis-5.0.7.tar.gz
[rootmcb-11-14 opt]# cd redis-5.0.7/
[rootmcb-11-14 redis-5.0.7]# ls
00-RELEASENOTES COPYING Makefile redis.conf runtest-moduleapi src
BUGS deps MANIFESTO runtest runtest-sentinel tests
CONTRIBUTING INSTALL README.md runtest-cluster sentinel.conf utils
[rootmcb-11-14 redis-5.0.7]# rm -rf /var/run/yum.pid
[rootmcb-11-14 redis-5.0.7]# yum install gcc gcc-c make -y
[rootmcb-11-14 redis-5.0.7]# make PREFIX/usr/local/redis install
[rootmcb-11-14 redis-5.0.7]# cd utils/
[rootmcb-11-14 utils]# ls
build-static-symbols.tcl graphs redis-copy.rb speed-regression.tcl
cluster_fail_time.tcl hashtable redis_init_script whatisdoing.sh
corrupt_rdb.c hyperloglog redis_init_script.tpl
create-cluster install_server.sh redis-sha1.rb
generate-command-help.rb lru releasetools
[rootmcb-11-14 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis serverPlease select the redis port for this instance: [6379]
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[rootmcb-11-14 utils]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[rootmcb-11-14 utils]# cd /etc/redis
[rootmcb-11-14 redis]# mkdir -p redis-cluster/redis600{1..6}
[rootmcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/ #不做这一步会报错 ②搭建Redis 群集模式
[rootmcb-11-14 utils]# cd /etc/redis/
[rootmcb-11-14 redis]# ls
6379.conf
[rootmcb-11-14 redis]# cd redis-cluster/
[rootmcb-11-14 redis-cluster]# ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[rootmcb-11-14 redis-cluster]# cd ..
[rootmcb-11-14 redis]# ls
6379.conf redis-cluster
[rootmcb-11-14 redis]# for i in {1..6}docp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$icp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$idone
[rootmcb-11-14 redis]# ll redis-cluster/redis6001
总用量 12704
-rwxr-xr-x. 1 root root 4808824 4月 7 14:29 redis-cli
-rw-r--r--. 1 root root 61797 4月 7 14:29 redis.conf
-rwxr-xr-x. 1 root root 8127288 4月 7 14:29 redis-server
[rootmcb-11-14 redis]# ls
6379.conf redis-cluster
[rootmcb-11-14 redis]# cd redis-cluster/
[rootmcb-11-14 redis-cluster]# ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[rootmcb-11-14 redis-cluster]# cd redis6001
[rootmcb-11-14 redis6001]# ls
redis-cli redis.conf redis-server
[rootmcb-11-14 redis6001]# vim redis.conf③编译master节点配置文件
#bind 127.0.0.1 #69行注释掉bind 项默认监听所有网卡
protected-mode no #88行修改关闭保护模式
port 6001 #92行修改redis监听端口
daemonize yes #136行开启守护进程以独立进程启动
cluster-enabled yes #832行取消注释开启群集功能
cluster-config-file nodes-6001.conf #840行取消注释群集名称文件设置
cluster-node-timeout 15000 #846行取消注释群集超时时间设置
appendonly yes #700行修改开启AOF持久化[rootmcb-11-14 redis6001]# vim redis.conf
[rootmcb-11-14 redis6001]# cp redis.conf ../redis6002
cp是否覆盖../redis6002/redis.conf yes
[rootmcb-11-14 redis6001]# vim ../redis6002/redis.conf
修改文本内容
92 port 6002840 cluster-config-file nodes-6002.conf继续拷贝
[rootmcb-11-14 redis6001]# cp redis.conf ../redis6003
cp是否覆盖../redis6003/redis.conf yes
[rootmcb-11-14 redis6001]# cp redis.conf ../redis6004
cp是否覆盖../redis6004/redis.conf yes
[rootmcb-11-14 redis6001]# cp redis.conf ../redis6005
cp是否覆盖../redis6005/redis.conf yes
[rootmcb-11-14 redis6001]# cp redis.conf ../redis6006
cp是否覆盖../redis6006/redis.conf yes92行 port 6002840行 cluster-config-file nodes-6002.conf[rootmcb-11-14 redis6001]# vim ../redis6003/redis.conf
92行 port 6003840行 cluster-config-file nodes-6003.conf
[rootmcb-11-14 redis6001]# vim ../redis6004/redis.conf 92行 port 6004840行 cluster-config-file nodes-6004.conf[rootmcb-11-14 redis6001]# vim ../redis6005/redis.conf
92 port 6005840 cluster-config-file nodes-6005.conf[rootmcb-11-14 redis6001]# vim ../redis6006/redis.conf
92 port 6006
840 cluster-config-file nodes-6006.conf④启动redis节点
[rootmcb-11-14 redis-cluster]# for d in {1..6}docd /etc/redis/redis-cluster/redis600$dredis-server redis.confdone这样也行
[rootmcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/
[rootmcb-11-14 redis6006]# for d in {1..6}; do cd /etc/redis/redis-cluster/redis600$d; redis-server redis.conf; done
10398:C 07 Apr 2024 17:25:52.747 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10398:C 07 Apr 2024 17:25:52.747 # Redis version5.0.7, bits64, commit00000000, modified0, pid10398, just started
10398:C 07 Apr 2024 17:25:52.747 # Configuration loaded
10400:C 07 Apr 2024 17:25:52.754 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10400:C 07 Apr 2024 17:25:52.754 # Redis version5.0.7, bits64, commit00000000, modified0, pid10400, just started
10400:C 07 Apr 2024 17:25:52.754 # Configuration loaded
10402:C 07 Apr 2024 17:25:52.762 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10402:C 07 Apr 2024 17:25:52.762 # Redis version5.0.7, bits64, commit00000000, modified0, pid10402, just started
10402:C 07 Apr 2024 17:25:52.762 # Configuration loaded
10410:C 07 Apr 2024 17:25:52.770 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10410:C 07 Apr 2024 17:25:52.770 # Redis version5.0.7, bits64, commit00000000, modified0, pid10410, just started
10410:C 07 Apr 2024 17:25:52.770 # Configuration loaded
10415:C 07 Apr 2024 17:25:52.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10415:C 07 Apr 2024 17:25:52.775 # Redis version5.0.7, bits64, commit00000000, modified0, pid10415, just started
10415:C 07 Apr 2024 17:25:52.775 # Configuration loaded
10420:C 07 Apr 2024 17:25:52.779 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10420:C 07 Apr 2024 17:25:52.779 # Redis version5.0.7, bits64, commit00000000, modified0, pid10420, just started
10420:C 07 Apr 2024 17:25:52.779 # Configuration loaded[rootmcb-11-14 redis6006]# ps -ef | grep redis
root 10399 1 0 17:25 ? 00:00:00 redis-server *:6001 [cluster]
root 10401 1 0 17:25 ? 00:00:00 redis-server *:6002 [cluster]
root 10409 1 0 17:25 ? 00:00:00 redis-server *:6003 [cluster]
root 10414 1 0 17:25 ? 00:00:00 redis-server *:6004 [cluster]
root 10419 1 0 17:25 ? 00:00:00 redis-server *:6005 [cluster]
root 10424 1 0 17:25 ? 00:00:00 redis-server *:6006 [cluster]
root 10493 3574 0 17:33 pts/1 00:00:00 grep --colorauto redis⑤启动集群
[rootmcb-11-14 redis6006]# redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1Performing hash slots allocation on 6 nodes...
Master[0] - Slots 0 - 5460
Master[1] - Slots 5461 - 10922
Master[2] - Slots 10923 - 16383
Adding replica 127.0.0.1:6005 to 127.0.0.1:6001
Adding replica 127.0.0.1:6006 to 127.0.0.1:6002
Adding replica 127.0.0.1:6004 to 127.0.0.1:6003Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001slots:[0-5460] (5461 slots) master
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002slots:[5461-10922] (5462 slots) master
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003slots:[10923-16383] (5461 slots) master
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004replicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005replicates c8bafedba2552472b5bfc1725d7e30879bda2302
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006replicates ab3223cc1465bb79bd5310b5044286eab261c593
Can I set the above configuration? (type yes to accept): yesNodes configuration updatedAssign a different config epoch to each nodeSending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
......Performing Cluster Check (using node 127.0.0.1:6001)
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001slots:[0-5460] (5461 slots) master1 additional replica(s)
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003slots:[10923-16383] (5461 slots) master1 additional replica(s)
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005slots: (0 slots) slavereplicates c8bafedba2552472b5bfc1725d7e30879bda2302
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002slots:[5461-10922] (5462 slots) master1 additional replica(s)
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004slots: (0 slots) slavereplicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006slots: (0 slots) slavereplicates ab3223cc1465bb79bd5310b5044286eab261c593
[OK] All nodes agree about slots configuration.Check for open slots...Check slots coverage...
[OK] All 16384 slots covered.
[rootmcb-11-14 redis6006]#
⑥集群测试
[rootmcb-11-14 redis6006]# redis-cli -p 6001 -c
127.0.0.1:6001 cluster slots
1) 1) (integer) 02) (integer) 54603) 1) 127.0.0.12) (integer) 60013) ab3223cc1465bb79bd5310b5044286eab261c5934) 1) 127.0.0.12) (integer) 60063) 6f0f84e0e897edf9955da23f7c57ed989128a2ae
2) 1) (integer) 109232) (integer) 163833) 1) 127.0.0.12) (integer) 60033) c8bafedba2552472b5bfc1725d7e30879bda23024) 1) 127.0.0.12) (integer) 60053) 7d08f9ff9aab477327776a5566546db608024739
3) 1) (integer) 54612) (integer) 109223) 1) 127.0.0.12) (integer) 60023) 7843a1fe4eeb70acc4915176284c3b1e583a6f654) 1) 127.0.0.12) (integer) 60043) 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6001 set name mcb
- Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002 cluster keyslot name #查看name键的槽编号
(integer) 5798
127.0.0.1:6002 总结
三者应该连贯一起做实验
①redis主从复制
reids 主从复制是一种同步机制主服务器数据的修改会实时同步到从服务器上实现数据备份和读写分离
②哨兵模式
redis 哨兵是一个用于管理多个redis 服务器的系统 它提供监控 、通知、自动故障转移和配置服务来实现redis高可用性。
哨兵功能
1监控 2通知 3自动故障转移
4配置提供服务(客户端做为验证)
③集群cluster
redis 集群 是一个提供高性能、 高可用、数据分片、 故障转移特性的 分布式 分数据库模式
1)数据分片
2故障转移
3高性能
4高可用
