中小企业的网站建设论文,免费开通企业邮箱,国内cms排行,仿制单页面网站多少钱Mysql 主从复制、读写分离 一、前言#xff1a;二、主从复制原理1.MySQL的复制类型2. MySQL主从复制的工作过程;3.MySQL主从复制延迟4. MySQL 有几种同步方式#xff1a;5.Mysql应用场景 三、主从复制实验1.主从服务器时间同步1.1 master服务器配置1.2 两台SLAVE服务器配置 2… Mysql 主从复制、读写分离 一、前言二、主从复制原理1.MySQL的复制类型2. MySQL主从复制的工作过程;3.MySQL主从复制延迟4. MySQL 有几种同步方式5.Mysql应用场景 三、主从复制实验1.主从服务器时间同步1.1 master服务器配置1.2 两台SLAVE服务器配置 2.配置主从同步① master服务器修改配置文件② 从服务器配置 3.测试数据同步 四、MySQL 读写分离1.什么是读写分离2.为什么要读写分离呢3.什么时候要读写分离4.主从复制与读写分离5.MySQL 读写分离原理6.企业 使用MySQL 读写分离场景1基于程序代码内部实现2基于中间代理层实现 五、读写分离实验1.搭建 MySQL读写分离1.1 Amoeba服务器配置----1.2 测试读写分离 一、前言
1.在企业应用中成熟的业务通常数据量都比较大 2.单台MySQL在安全性、 高可用性和高并发方面都无法满足实际的需求 3.配置多台主从数据库服务器以实现读写分离
二、主从复制原理
1.MySQL的复制类型
基于语句的复制(STATEMENT, MySQL默认类型)基于行的复制(ROW)混合类型的复制(MIXED)
2. MySQL主从复制的工作过程;
两日志、三线程 1在每个事务更新数据完成之前Master 在二进制日志Binary log记录这些改变。写入二进制日志完成后Master 通知存储引擎提交事务。 2Slave 将 Master 的复制到其中继日志Relay log。首先slave 开始一个工作线程I/OI/O线程在 Master 上打开一个普通的连接然后开始 Binlog dump process。Binlog dump process 从 Master 的二进制日志中读取事件如果已经跟上 Master它会睡眠并等待 Master 产生新的事件I/O线程将这些事件写入中继日志。 3SQL slave threadSQL从线程处理该过程的最后一步SQL线程从中继日志读取事件并重放其中的事件而更新 Slave 数据使其与 Master 中的数据一致只要该线程与 I/O 线程保持一致中继日志通常会位于 OS 缓存中所以中继日志的开销很小。 复制过程有一个很重要的限制即复制在 Slave 上是串行化的也就是说 Master 上的并行更新操作不能在 Slave 上并行操作。
3.MySQL主从复制延迟
1、master服务器高并发形成大量事务 2、网络延迟 3、主从硬件设备导致 cpu主频、内存io、硬盘io 4、本来就不是同步复制、而是异步复制 。。。。。。。。。。。。。。。。。。。。。。。 从库优化Mysql参数。比如增大innodb_buffer_pool_size让更多操作在Mysql内存中完成减少磁盘操作。 从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机使用物理主机这样提升了i/o方面性。 从库使用SSD磁盘 网络优化避免跨机房实现同步 问题解决方法 半同步复制- 解决数据丢失的问题 并行复制—解决从库复制延迟的问题
4. MySQL 有几种同步方式
1、异步复制Async Replication 2、同步复制sync Replication 3、半同步复制Async Replication 4、增强半同步复制lossless Semi-Sync Replication、无损复制
1异步复制Async Replication
主库将更新写入Binlog日志文件后不需要等待数据更新是否已经复制到从库中就可以继续处理更多的请求。Master将事件写入binlog但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况下如果Master宕机事务在Master上已提交但很可能这些事务没有传到任何的Slave上。假设有Master-Salve故障转移的机制此时Slave也可能会丢失事务。MySQL复制默认是异步复制异步复制提供了最佳性能。 2同步复制Sync Replication
主库将更新写入Binlog日志文件后需要等待数据更新已经复制到从库中并且已经在从库执行成功然后才能返回继续处理其它的请求。同步复制提供了最佳安全性保证数据安全数据不会丢失但对性能有一定的影响。 3半同步复制Semi-Sync Replication
主库提交更新写入二进制日志文件后等待数据更新写入了从服务器中继日志中然后才能再继续处理其它请求。该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了才会通知主库上面的等待线程该操作完毕。 半同步复制是最佳安全性与最佳性能之间的一个折中。 MySQL 5.5版本之后引入了半同步复制功能主从服务器必须安装半同步复制插件才能开启该复制功能。如果等待超时超过rpl_semi_sync_master_timeout参数设置时间默认值为10000表示10秒则关闭半同步复制并自动转换为异步复制模式。当master dump线程发送完一个事务的所有事件之后如果在rpl_semi_sync_master_timeout内收到了从库的响应则主从又重新恢复为增强半同步复制。 ACK (Acknowledge character即是确认字符。 4增强半同步复制lossless Semi-Sync Replication、无损复制
增强半同步是在MySQL 5.7引入其实半同步可以看成是一个过渡功能因为默认的配置就是增强半同步所以大家一般说的半同步复制其实就是增强的半同步复制也就是无损复制。 增强半同步和半同步不同的是等待ACK时间不同rpl_semi_sync_master_wait_point AFTER_SYNC默认 半同步的问题是因为等待ACK的点是Commit之后此时Master已经完成数据变更用户已经可以看到最新数据当Binlog还未同步到Slave时发生主从切换那么此时从库是没有这个最新数据的用户看到的是老数据。 增强半同步将等待ACK的点放在提交Commit之前此时数据还未被提交外界看不到数据变更此时如果发送主从切换新库依然还是老数据不存在数据不一致的问题。
5.Mysql应用场景
mysql 数据库 主要的性能是读和写一般场景来说读请求更多。 根据主从复制可以演变成读写分离因为读写分离基于主从复制使用读写分离从而解决高并发的问题。
mysql架构演变的方向 1、单台mysql有单点故障 2、集群—》 主从复制 3、主从复制渡河写的压力不均衡 4、读写分离 5、读写分离的基础是主从复制 6、mysql的高可用架构MHAmaster HA高可用 MGR MMM
三、主从复制实验
整个实验的环境 以及服务器信息
环境部署 cetos7.6虚拟机服务环境 Master服务器:192.168.174.15 mysql5.7 slave1服务器:192.168.174.18 mysql5.7 Slave2服务器:192.168.174.19 mysql5.7 Amoeba服务器:192.168.174.80 预备机器 jdk1.6 客户端服务器:192.168.174.12 测试
1.主从服务器时间同步
1.1 master服务器配置
① 安装ntp、修改配置文件
[rootmaster ~]# yum install ntp -y
[rootmaster ~]# yum -y install ntpdate ntp #安装ntp软件
[rootmaster ~]# ntpdate ntp.aliyun.com #时间同步
[rootmaster ~]# vim /etc/ntp.conf #编辑配置文件
fudge 127.127.1.0 stratum 10
#设置本机的时间层级为10级0级表示时间层级为0级是向其他服务器提供时间同步源的意思不要设置为0级server 127.127.1.0 #设置本机为时间同步源systemctl restart mysqld.service ② 开启NTP服务、关闭防火墙和增强性安全功能
[rootmaster ~]# systemctl start ntpd
[rootmaster ~]# systemctl stop firewalld.service
[rootmaster ~]# setenforce 01.2 两台SLAVE服务器配置
① 安装ntp、ntpdate服务
[rootlocalhost ~]# yum install ntp ntpdate -y② 开启ntp服务关闭防火墙、增强性安全功能
systemctl stop firewalld.service
setenforce 0
systemctl start ntpd③ 时间同步master服务器
ntpdate 192.168.174.15④ 两台slave服务器配置相同
#master服务器同步阿里云时钟服务器
ntpdate ntp.aliyun.com
ntpdate 192.168.174.15
crontab -e
*/10 * * * * /usr/sbin/ntpdate 192.168.174.152.配置主从同步
① master服务器修改配置文件
[rootmaster ~]# vim /etc/my.cnf
#在mysqld模块下修改一下内容
#开启二进制日志文件之后生成的日志名为master-bin
log_binmaster-bin
#开启从服务器日志同步
log_slave-updatestrue
#主服务器id为1不可重复
server_id 1
--------》wq重启服务
[rootmaster ~]# systemctl restart mysqld配置规则
[rootmaster ~]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.mysql GRANT REPLICATION SLAVE ON *.* TO myslave192.168.174.% IDENTIFIED BY abc123;
Query OK, 0 rows affected (0.00 sec)#刷新权限表
mysql flush privileges;
Query OK, 0 rows affected (0.00 sec)规则解析GRANT REPLICATION SLAVE ON *.* TO ‘myslave’‘192.168.10.%’ IDENTIFIED BY ‘123456’;给从服务器提权允许使用slave的身份复制master的所有数据库的所有表并指定密码为123456查看master数据库状态
mysql show master status;
--------------------------------------------------------------------------------
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
--------------------------------------------------------------------------------
| master-bin.000001 | 604 | | | |
--------------------------------------------------------------------------------
1 row in set (0.00 sec)mysql
#以上可见产生了master-bin.000001日志文件定位为604
#从服务器需要定位到此处进行复制② 从服务器配置
[rootslave1 ~]# vim /etc/my.cnf
#开启二进制日志文件
log-binmaster-bin
#设置server id为2slave2 为3
server_id 22
#从主服务器上同步日志文件记录到本地
relay-logrelay-log-bin
#定义relay-log的位置和名称index索引
relay-log-indexslave-relay-bin.index
--------》wq
systemctl restart mysqld.service
log_binmaster-bin
server_id 2
relay-logrelay-log-bin
relay-log-indexslave-relay-bin.index开启从服务器功能
[rootslave1 ~]# mysql -uroot -pabc123
...............
mysql change master to master_host192.168.174.15,master_usermyslave,master_password123456,master_log_filemaster-bin.000001,master_log_pos604;
Query OK, 0 rows affected, 2 warnings (0.02 sec)change master to master_host192.168.174.15,master_usermyslave,master_password123456,master_log_filemaster-bin.000001,master_log_pos604;mysql start slave;
Query OK, 0 rows affected (0.01 sec)查看从服务器状态
mysql show slave status\G;
*************************** 1. row ***************************Slave_IO_State: Master_Host: 192.168.174.15Master_User: myslaveMaster_Port: 3306Connect_Retry: 60Master_Log_File: master-bin.000001Read_Master_Log_Pos: 603Relay_Log_File: wang3-relay-bin.000001Relay_Log_Pos: 4Relay_Master_Log_File: master-bin.000001Slave_IO_Running: NoSlave_SQL_Running: YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 603Relay_Log_Space: 154Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: NoLast_IO_Errno: 1593Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this does not always make sense; please check the manual before using it).Last_SQL_Errno: 0Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1Master_UUID: Master_Info_File: /usr/local/mysql/data/master.infoSQL_Delay: 0SQL_Remaining_Delay: NULLSlave_SQL_Running_State: Slave has read all relay log; waiting for more updatesMaster_Retry_Count: 86400Master_Bind: Last_IO_Error_Timestamp: 230723 12:33:38Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0Replicate_Rewrite_DB: Channel_Name: Master_TLS_Version:
1 row in set (0.00 sec)同理、开启另一台从服务器同步3.测试数据同步
在主服务器上创建一个数据库
mysql create database work;
Query OK, 1 row affected (0.00 sec)mysql show databases;
--------------------
| Database |
--------------------
| information_schema |
| mysql |
| performance_schema |
| test |
| work |
--------------------
5 rows in set (0.00 sec)在两台从服务器上直接查看数据库列表
mysql show databases;
--------------------
| Database |
--------------------
| information_schema |
| mysql |
| performance_schema |
| test |
| work |
--------------------
5 rows in set (0.00 sec)以上主从同步复制配置完成四、MySQL 读写分离
1.什么是读写分离
读写分离基本的原理是让主数据库处理事务性增、改、删操作INSERT、UPDATE、DELETE而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2.为什么要读写分离呢
因为数据库的“写”写10000条数据可能要3分钟操作是比较耗时的。 但是数据库的“读”读10000条数据可能只要5秒钟。 所以读写分离解决的是数据库的写入影响了查询的效率。
3.什么时候要读写分离
数据库不一定要读写分离如果程序使用数据库较多时而更新少查询多的情况下会考虑使用。利用数据库主从同步再通过读写分离可以分担数据库压力提高性能。
4.主从复制与读写分离
在实际的生产环境中对数据库的读和写都在同一个数据库服务器中是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此通过主从复制的方式来同步数据再通过读写分离来提升数据库的并发负载能力。有点类似于rsync但是不同的是rsync是对磁盘文件做备份而mysql主从复制是对数据库中的数据、语句做备份。
5.MySQL 读写分离原理
读写分离就是只在主服务器上写只在从服务器上读。基本的原理是让主数据库处理事务性操作而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。
6.企业 使用MySQL 读写分离场景
目前较为常见的 MySQL 读写分离分为以下两种
1基于程序代码内部实现
在代码中根据 select、insert 进行路由分类这类方法也是目前生产环境应用最广泛的。 优点是性能较好因为在程序代码中实现不需要增加额外的设备为硬件开支缺点是需要开发人员来实现运维人员无从下手。 但是并不是所有的应用都适合在程序代码中实现读写分离像一些大型复杂的Java应用如果在程序代码中实现读写分离对代码改动就较大。
2基于中间代理层实现
代理一般位于客户端和服务器之间代理服务器接到客户端请求后通过判断后转发到后端数据库有以下代表性程序。 1MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目通过其自带的 lua 脚本进行SQL 判断。 2Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上对其进行了优化增加了一些新的功能特性。360内部使用Atlas运行的mysql业务每天承载的读写请求数达几十亿条。支持事物以及存储过程。 3Amoeba。由陈思儒开发作者曾就职于阿里巴巴。该程序由Java语言进行开发阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy 需要写大量的Lua脚本这些Lua并不是现成的而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。 Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
五、读写分离实验
整个实验的环境 以及服务器信息
环境部署 cetos7.6虚拟机服务环境 Master服务器:192.168.174.15 slave1服务器:192.168.174.18 Slave2服务器:192.168.174.19 Amoeba服务器:192.168.174.12 jdk1.6、Amoeba 客户端服务器:192.168.174.13 mysql 测试
注做读写分离实验之前必须有一 主 两从 环境
1.搭建 MySQL读写分离
1.1 Amoeba服务器配置----
##安装 Java 环境##
因为 Amoeba 基于是 jdk1.5 开发的所以官方推荐使用 jdk1.5 或 1.6 版本高版本不建议使用。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod x jdk-6u14-linux-x64
./jdk-6u14-linux-x64.bin
//按yes按entermv jdk1.6.0_14/ /usr/local/jdk1.6vim /etc/profile
export JAVA_HOME/usr/local/jdk1.6
export CLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME/usr/local/amoeba
export PATH$PATH:$AMOEBA_HOME/binsource /etc/profile
java -version##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop说明安装成功##配置 Amoeba读写分离两个 Slave 读负载均衡##
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
grant all on *.* to 192.168.174.% identified by abc123;
flush privileges;#再回到amoeba服务器配置amoeba服务
cd /usr/local/amoeba/conf/cp amoeba.xml amoeba.xml.bak
vim amoeba.xml #修改amoeba配置文件
--30行--
property nameuserroot/property
--32行--
property namepasswordabc123/property
--115行--
property namedefaultPoolmaster/property
--117-去掉注释-
property namewritePoolmaster/property
property namereadPoolslaves/propertycp dbServers.xml dbServers.xml.bak
vim dbServers.xml #修改数据库配置文件
--23行--注释掉 作用默认进入test库 以防mysql中没有test库时会报错
!-- property nameschematest/property --
--26--修改
property nameusertest/property
--28-30--去掉注释
property namepassword123456/property
--45--修改设置主服务器的名Master
dbServer namemaster parentabstractServer
--48--修改设置主服务器的地址
property nameipAddress192.168.174.15/property
--52--修改设置从服务器的名slave1
dbServer nameslave1 parentabstractServer
--55--修改设置从服务器1的地址
property nameipAddress192.168.174.18/property
--58--复制上面6行粘贴设置从服务器2的名slave2和地址
dbServer nameslave2 parentabstractServer
property nameipAddress192.168.174.19/property
--65行--修改
dbServer nameslaves virtualtrue
--71行--修改
property namepoolNamesslave1,slave2/property/usr/local/amoeba/bin/amoeba start #启动Amoeba软件按ctrlc 返回
netstat -antp | grep java #查看8066端口是否开启默认端口为TCP 8066
1.2 测试读写分离
#先安装数据库
yum install -y mariadb-server mariadb
systemctl start mariadb.service
在客户端服务器上测试
mysql -u test -pabc123 192.168.174.12 -P8066
//通过amoeba服务器代理访问mysql 在通过客户端连接mysql后写入的数据只有主服务会记录然后同步给从--从服务器在主服务器上
use db_test;
create table test (id int(10),name varchar(10),address varchar(20));在两台从服务器上
stop slave; #关闭同步
use db_test;
//在slave1上
insert into test values(1,billkin,this_is_slave1);//在slave2上
insert into test values(2,pp,this_is_slave2);//在主服务器上
insert into test values(3,sehun,this_is_master);//在客户端服务器上
use test;
select * from test; //客户端会分别向slave1和slave2读取数据显示的只有在两个从服务器上添加的数据没有在主服务器上添加的数据insert into test values(4,chanyeol,this_is_client); //只有主服务器上有此数据//在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
start slave;
dress varchar(20));
在两台从服务器上 stop slave; #关闭同步 use db_test; //在slave1上 insert into test values(‘1’,‘billkin’,‘this_is_slave1’);
//在slave2上 insert into test values(‘2’,‘pp’,‘this_is_slave2’);
//在主服务器上 insert into test values(‘3’,‘sehun’,‘this_is_master’);
//在客户端服务器上 use test; select * from test; //客户端会分别向slave1和slave2读取数据显示的只有在两个从服务器上添加的数据没有在主服务器上添加的数据
insert into test values(‘4’,‘chanyeol’,‘this_is_client’); //只有主服务器上有此数据
//在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据 start slave;
