自己做网站百度会收录,学网站开发的软件,王也的八奇技是什么,手机端网站开发框架笑小枫的专属目录 一、无聊的理论知识1. 主从复制原理2. 主从复制的工作过程3. MySQL四种同步方式 二、docker下安装、启动mysql1. 安装主库2. 安装从库 三、配置Master(主)四、配置Slave(从)五、链接Master(主)和Slave(从)六、主从复制排错1. 错误#xff1a;error connectin… 笑小枫的专属目录 一、无聊的理论知识1. 主从复制原理2. 主从复制的工作过程3. MySQL四种同步方式 二、docker下安装、启动mysql1. 安装主库2. 安装从库 三、配置Master(主)四、配置Slave(从)五、链接Master(主)和Slave(从)六、主从复制排错1. 错误error connecting to master xxxx - retry-time: 30 retries: xx2. 错误ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository3. 操作从库配置后主库发生变更 七、测试主从复制测试八、总结 一、无聊的理论知识
MySQL的主从复制和MySQL的读写分离两者有着紧密联系首先要部署主从复制只有主从复制完成了才能在此基础上进行数据的读写分离
1. 主从复制原理
mysql支持的复制类型
①STATEMENT:基于语句的复制在主服务器上执行sql语句在从服务器上执行同样的语句MySQL默认采用基于语句的复制执行效率高
②ROW:基于行的复制把改变的内容复制过去而不是把命令在从服务器上执行一边
③MIXED:混合类型的复制默认采用基于语句的复制一旦发现基于语句无法精确复制时就会采用基于行的复制
2. 主从复制的工作过程
主从复制核心部分就是两个日志、三个线程高版本的mysql以及异步复制、半同步复制、全同步复制
核心重点两个日志文件二进制日志、中继日志、三个线程master的dump thread、slave的IO、SQL
主要原理master将数据保存在二进制日志中IO向dump发出同步请求dump把数据发送给IO线程。IO会写入到本地的中继日志SQL线程会读取本地的日志数据同步到自己的数据库中完成同步 ①Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时则将其改变写入二进制日志中
②Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变如果发生改变则开始一个I/O线程请求Master的二进制时间
③同时Master节点为每个I/O线程启动一个dump线程用于向其发生二进制事件并保存至Slave节点本地的中继日志(Relay log)中Slave节点将启动SQL线程从中继日志中读取二进制日志在本地重放即解析成sql语句逐一执行使得其数据和Master节点的保持一致最后I/O线程和SQL线程将进入睡眠状态等待下一次被唤醒
**注**中继日志通常会位于OS缓存中所以中继日志的开销很小
复制过程有一个很重要的限制即复制在Slave上是串行化的也就是说Master上的并行更新操作不能在Slave上并行操作
主MySQL服务器做的增删改操作都会写入自己的二进制日志Binary log
然后从MySQL从服务器打开自己的I/O线程连接主服务器进行读取主服务器的二进制日志
I/O去监听二进制日志一旦由新的数据会发起请求连接
这时候会触发dump线程dump thread响应请求传送数据给I/O(dump线程要么处于等待要么处于睡眠状态)
I/O接收到数据之后存放在中继日志
SQL thread线程会读取中继日志里的数据存放到自己的服务器中dump通过TP也就是网络的方式发送给IO3. MySQL四种同步方式
异步复制(Async Replication)
主库将更新写入Binlog日志文件不需要等待数据更新是否已经复制到从库中就可以继续处理更多的请求Master将事件写入binlog但并不知道Slave是否或何时已经接收且已处理在异步复制的机制的情况下如果Master宕机事务在Master上已经提交但可能这些事务没有传到任何的Slave上假设有Master–Salve故障转移的机制此时Slave也可能会丢失事务Mysql复制默认是异步复制异步复制提供了最佳性能
同步复制Sync Replication
主库将更新写入Binlog日志文件后需要等待数据更新已经复制到从库中并且已经在从库执行成功然后才能返回继续处理其它的请求同步复制提供了最佳安全性保证数据安全数据不会丢失但对性能有一定的影响
半同步复制Semi-Sync Replication
主库提交更新写入二进制日志文件后等待数据更新写入了从服务器中继日志中然后才能再继续处理其它请求该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了才会通知主库上面的等待线程该操作完毕
半同步复制是最佳安全性于最佳性能 之间的一个折中
MySQL5.5版本之中引入了半同步复制功能主从服务器必须安装半同步复制插件才能开启该复制功能如果等待超时超过rpl_semi_sync_master_timeout参数设置时间(默认值为10000表示10秒)则关闭半同步复制。并自动转换为异步复制模式当master dump线程发送完一个事务的所有事件之后如果在rpl_semi_sync_master_timeout内收到了从库的响应则主从又重新恢复为增强半同步复制
ACK (Acknowledge character即是确认字符。
增强半同步复制lossless Semi-Sync Replication、无损复制
增强半同步时在MySQL 5.7引入其实半同步可以看成一个过渡功能因为默认的配置就是增强半同步大家一般说的半同步复制其实就是增强的半同步复制也就是无损复制
增强半同步和半同步不同的是等待ACK时间不同
rpl_semi_sync_master_wait_point AFTER_SYNC(默认)
半同步的问题是因为等待ACK的点是Commit之后此时Master已经完成数据变更用户已经可以看到最新数据当Binlog还未同步到Slave时发生主从切换那么此时从库是没有这个最新数据的用户看到的还是老数据增强半同步将等待ACK的点放在提交Commit之前此时数据还未被提交外界看不到数据变更此时如果发生主从切换新库依然还是老数据不存在数据不一致的问题
二、docker下安装、启动mysql
docker下安装mysql 8.0.15
docker pull mysql:8.0.151. 安装主库
启动mysql-master当作主库
docker run -p 3320:3306 --name mysql_master -e MYSQL_ROOT_PASSWORD123456 -d 7bb2586065cd此时启动已完成在docker启动镜像时密码加密使用的是caching_sha2_password 在服务器端启动默认使用mysql_native_password 加密的 如需要使用外部工具连接需要进入docker容器重置root密码。 进入docker容器修改Mysql远程连接的密码
docker exec -it mysql_master /bin/sh# mysql -u root -p输入登录密码设置的MYSQL_ROOT_PASSWORD123456mysql ALTER USER root% IDENTIFIED WITH mysql_native_password BY test001;退出数据库设置和docker容器使用exit命令 2. 安装从库
启动mysql-slave当作从库
docker run -p 3321:3306 --name mysql_slave -e MYSQL_ROOT_PASSWORD123456 -d 7bb2586065cd进入docker容器修改Mysql远程连接的密码
docker exec -it mysql_slave /bin/sh# mysql -u root -p输入登录密码设置的MYSQL_ROOT_PASSWORD123456mysql ALTER USER root% IDENTIFIED WITH mysql_native_password BY test001;安装完主库和从库后如下所示 三、配置Master(主)
docker exec -it mysql_master /bin/shcd /etc/mysql切换到/etc/mysql目录下然后vi my.cnf对my.cnf进行编辑。 此时会报出bash: /bin/sh: 3: vi: not found需要我们在docker容器内部自行安装vim。 使用apt-get install vim命令安装vim
如果出现如下问题
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package vim执行apt-get update然后再次执行apt-get install vim即可成功安装vim。 如果docker内部安装不了Vim可以将文件拷贝出来修改完之后在拷贝进去或者启动时使用docker -v的方式挂载 #将容器中的文件拷贝出来
sudo docker cp 容器ID:/etc/mysql/my.cnf /data/mysql/master
#将容器中的文件拷贝回去
sudo docker cp /data/mysql/master/my.cnf 容器ID:/etc/mysql/然后我们就可以使用vim编辑my.cnf在my.cnf中添加
[mysqld]
## 同一局域网内注意要唯一
server-id99
## 开启二进制日志功能可以随便取关键
log-binmysql-bin需要重启mysql服务docker restart 容器ID 下一步在Master数据库创建数据同步用户
CREATE USER slave% IDENTIFIED BY 123456;ALTER USER slave% IDENTIFIED WITH mysql_native_password BY 123456;授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限用于在主从库之间同步数据。
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO slave%;四、配置Slave(从)
和配置Master(主)一样在Slave配置文件my.cnf中添加如下配置
[mysqld]
## 设置server_id,注意要唯一
server-id101
## 开启二进制日志功能以备Slave作为其它Slave的Master时使用
log-binmysql-slave-bin
## relay_log配置中继日志
relay_logedu-mysql-relay-bin配置完成后也需要重启mysql服务和docker容器操作和配置Master(主)一致。
五、链接Master(主)和Slave(从)
在Master进入mysql执行show master status; File和Position字段的值后面将会用到在后面的操作完成之前需要保证Master库不能做任何操作否则将会引起状态变化File和Position字段的值变化。
在Slave 中进入 mysql执行
change master to master_host172.17.0.8, master_userslave, master_passwordtest001, master_port3306, master_log_filemysql-bin.000002, master_log_pos994, master_connect_retry30;命令说明 master_host Master的地址指的是容器的独立ip,可以通过docker inspect --format{{.NetworkSettings.IPAddress}} 容器名称|容器id查询容器的ip。如果不是docker直接放服务器的IP地址就行保证两个服务器互通即可master_portMaster的端口号指的是容器的端口号master_user用于数据同步的用户master_password用于同步的用户的密码master_log_file指定 Slave 从哪个日志文件开始复制数据即上文中提到的 File 字段的值master_log_pos从哪个 Position 开始读即上文中提到的 Position 字段的值master_connect_retry如果连接失败重试的时间间隔单位是秒默认是60秒在Slave 中的mysql终端执行show slave status;用于查看主从同步状态。 Slave_IO_Running负责从库去主库读取二进制日志并写入到从库的中继日志Slave_SQL_Running负责将中继日志转换成SQL语句后执行
正常情况下SlaveIORunning 和 SlaveSQLRunning 都是No因为我们还没有开启主从复制过程。 使用start slave;开启主从复制过程然后再次查询主从同步状态show slave status;。 SlaveIORunning 和 SlaveSQLRunning 都是Yes说明主从复制已经开启。此时可以测试数据同步是否成功。
六、主从复制排错
1. 错误error connecting to master ‘xxxx’ - retry-time: 30 retries: xx 使用start slave开启主从复制过程后如果SlaveIORunning一直是Connecting则说明主从复制一直处于连接状态这种情况一般是下面几种原因造成的我们可以根据 Last_IO_Error提示予以排除。
1、网络不通
检查ip,端口,这里docker虽然映射出去的mysql端口是3320但通过内网访问仍然是33062、密码不对
检查是否创建用于同步的用户和用户密码是否正确3、pos不对
检查Master的 Position2. 错误ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository
检查my.cnf是否指定relay_log指定的relay_log是否被其他server占用。
解决方法修改my.cnf指定relay_log然后重启服务。
先执行reset slave命令在执行以下命令
change master to master_host172.17.0.8, master_userslave, master_passwordtest001, master_port3306, master_log_filemysql-bin.000002, master_log_pos994, master_connect_retry30;最后启动start slave;
3. 操作从库配置后主库发生变更
在mastershow master status;查询主库最新的状态
然后执行reset slave命令再执行更新后的链接命令
change master to master_host172.17.0.8, master_userslave, master_passwordtest001, master_port3306, master_log_filemysql-bin.000002, master_log_pos994, master_connect_retry30;最后启动start slave;
七、测试主从复制测试
在主库master创建test数据库并添加test表然后可以看到从库中也出现了对应的数据库和表 八、总结
本文主要讲解了Mysql主从复制的操作如果有多个从库重复执行从库的操作即可。
切记对数据的增删改操作一定要在主库上操作不要在从库上操作。
本文到此就结束了有问题就找笑小枫。
点个关注和收藏吧不然就
