六安网站建设报价方案,免费个人网站哪个好,杭州网站制作公司排名,二级域名网站有哪些本文属于个人备忘录#xff0c;主要是极客时间《MySQL实战45讲》学习笔记。
MySQL实战—更新过程
一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块#xff0c;最后到达存储引擎。那么更新语句又是如何执行#xff1f; 和查询流程不同的是…本文属于个人备忘录主要是极客时间《MySQL实战45讲》学习笔记。
MySQL实战—更新过程
一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块最后到达存储引擎。那么更新语句又是如何执行 和查询流程不同的是更新流程涉及两个重要的日志模块redo log重做日志和 binlog二进制日志。 redo log
redo log通常是物理日志记录的是数据页的物理修改而不是某一行或某几行的修改它用来恢复提交后的物理数据页(恢复数据页且只能恢复到最后一次提交的位置)。
如果MySQL每一次的更新操作都需要写进磁盘整个过程IO成本会很高。使用redo log能提升更新效率即WAL技术。 WAL
Write-Ahead Logging先写日志再写磁盘
更新记录
InnoDB引擎先把记录写到redo log里面并更新内存InnoDB会在适当的时候比如系统空闲时将操作记录更新到磁盘里
在相同的数据量下采用WAL的数据库系统在事务提交时磁盘写操作只有传统的回滚日志的一半左右大大提高了数据库磁盘IO操作的效率从而提高了数据库的性能。 redo log
redo log大小固定可配
是InnoDB引擎的日志比如一组4个文件每个文件大小1GB从头开始写写到末尾又回到开始循环写write pos是当前记录的位置一边写一边后移写到第 3 号文件末尾后就回到 0 号文件开头checkpoint是当前要擦除的位置也是往后推移并且循环的擦除记录前要把记录更新到数据文件write pos和checkpoint之间是可写部分用来记录新的操作如果write pos追上Checkpoint表示没有可写位置了此时不能执行新的更新需要停下来擦掉一些记录将记录更新到磁盘将checkpoint向前推进crash-safe
通过redo logInnoDB保证即使数据库发生异常重启之前提交的记录都不会丢失这个能力称为crash-safe更新过程
以下述操作为例。
mysql create table T(ID int primary key, c int);
mysql update T set cc1 where ID2; 执行器通过引擎取ID2这一行。 ID是主键引擎直接用树搜索找到这一行如果ID2这一行所在的数据页本来就在内存中就直接返回给执行器否则需要先从磁盘读入内存然后再返回。执行器将引擎返回的行数据的这个值加1即N变成N1得到新的一行数据再调用引擎接口写入新行。引擎将这行新数据更新到内存中同时将这个更新操作记录到redo log里此时redo log处于prepare状态。然后告知执行器执行完成了随时可以提交事务。执行器生成这个操作的binlog并把binlog写入磁盘。执行器调用引擎的提交事务接口引擎把刚写入的redo log改成提交commit状态更新完成。
执行流程如下图。浅色步骤在InnoDB内部执行深色步骤在执行器中执行。 binlog
binlog即二进制日志是一个二进制文件记录了对数据库执行更新的所有操作并且记录了语句发生时间、执行时长、操作数据等信息。但不记录SELECT、SHOW等查询SQL语句。
二进制日志主要用于数据恢复和主从复制及审计操作。
max_binlog_size日志文件大小上限二进制日志文件后缀名会由 mysql 自动拼接数字达到此参数设置大小则写入另一个文件同时后缀 1所以在设置 log-bin 参数时仅填写路径和文件名即可后缀名省略是否开启binlog
log-bin设置日志文件的位置设置此参数同时开启日志记录默认放在 mysql data目录下
mysql show variables like log_bin;
----------------------
| Variable_name | Value |
----------------------
| log_bin | ON |
----------------------
1 row in set (0.02 sec) 查看binlog
binlog不能直接查看。可以通过官方提供的mysqlbinlog工具查看。
确认日志位置
mysql show master logs;
-----------------------------
| Log_name | File_size |
-----------------------------
| mysql-bin.000120 | 47533445 |
| mysql-bin.000121 | 57556996 |
| mysql-bin.000122 | 190963566 |
-----------------------------
3 rows in set (0.01 sec)mysql
mysql
mysql show master status;
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| mysql-bin.000122 | 190964654 | | | a30ccda1-22af-11e9-850a-6c92bf668356:4512526-4520657,
df123bc8-3139-11ea-9587-6c92bf9bf658:1-6937,
e001bcc0-3139-11ea-a763-ac853d9f52c8:1-801427 |
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1 row in set (0.00 sec)
输出文件内容
# 直接查看
mysqlbinlog mysql-bin.xxx //xxx表示文件编号# 输出到指定文件
mysqlbinlog mysql-bin.xxx mysqllog.log# 指定时间段输出
mysqlbinlog --start-datetime 2020-01-08 00:00:00 --stop-datetime 2020-01-08 01:00:00 mysql-bin.xxx mysqllog.log
如果执行过程出现以下提示可暂时添加--no-defaults参数跳过检查。
mysqlbinlog:[ERROR] unknown variable default-character-setutf8
更多内容请参考https://dev.mysql.com/doc/refman/5.7/en/binary-log.html 两阶段提交
写入redo log分为两个步骤
preparecommit
即两阶段提交。 为什么需要两阶段提交
redo log和binlog是两个独立的逻辑如果不用两阶段提交要么就是先写完redo log再写binlog要么反过来。
以上述更新为例。假设当前ID2字段c的值为0并假设执行update过程中写完第一个日志后发生了crash。看看两种方式会发生什么情况。 先写redo log后写binlog 假设redo log写完binlog没有写完的时候MySQL 进程异常重启redo log写完之后系统即使崩溃仍然能够把数据恢复回来所以恢复后这一行c的值是 1但由于binlog没写完就crash了这时候binlog里面就没有记录这个语句。因此之后备份日志的时候存起来的binlog里面就没有这条语句。如果需要用这个binlog来恢复临时库的话由于这个语句的binlog丢失这个临时库就会少了这一次更新恢复出来的这一行c的值就是0与原库的值不同。出现不一致 先写binlog后写redo log 假设binlog写完之后redo log没有写完的时候crash由于redo log还没写崩溃恢复以后这个事务无效所以这一行c的值是0。但是 binlog 里面已经记录了“把c从0改成1”这个日志。后续用binlog恢复的时候就多了一个事务出来恢复出来的这一行c的值就是 1与原库的值不同。也出现不一致
可以看出如果不使用“两阶段提交”数据库的状态有可能和用binlog恢复出来的库的状态不一致。
原文链接 本文为云栖社区原创内容未经允许不得转载。
