网站如何做映射,wordpress 中的函数大全,php网站建设与维护,北京到安阳的火车第02章_MySQL的数据目录
1.MySQL8的主要目录结构
# 查询名称叫做mysql的文件目录都有哪些[rootatguigu07 ~]# find / -name mysql安装好MySQL 8之后#xff0c;我们查看如下的目录结构#xff1a;
1.1 数据库文件的存放路径
MySQL数据库文件的存放路径#xff1a;/var/…第02章_MySQL的数据目录
1.MySQL8的主要目录结构
# 查询名称叫做mysql的文件目录都有哪些[rootatguigu07 ~]# find / -name mysql安装好MySQL 8之后我们查看如下的目录结构
1.1 数据库文件的存放路径
MySQL数据库文件的存放路径/var/lib/mysql/
MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中这个目录就称为数据目录。
MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了:
mysql show variables like datadir;
--------------------------------
| Variable_name | Value |
--------------------------------
| datadir | /var/lib/mysql/ |
--------------------------------
1 row in set (0.04 sec)从结果中可以看出在我的计算机上MySQL的数据目录就是 /var/lib/mysql/ 。
1.2 相关命令目录
相关命令目录/usr/binmysqladmin、mysqlbinlog、mysqldump等命令和/usr/sbin。 安装目录下非常重要的bin目录它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件比如mysql,mysqld,mysqld_safe等)。而数据目录是用来存储MysQL在运行过程中产生的数据注意区分开二者。
1.3 配置文件目录
配置文件目录/usr/share/mysql-8.0命令及配置文件/etc/mysql如my.cnf
2. 数据库和文件系统的关系
像InnoDB、MyISAM这样的存储引擎都是把表存储在磁盘上的操作系统用来管理磁盘的结构被称为文件系统所以用专业一点的话来表述就是像 InnoDB、MyISAM这样的存储引擎都是把表存储在文什系统上的。当我们想读取数据的时候这些存储引擎会从文件系统中把数据读出来返回给我们当我们想写入数据的时候这些存储引擎会把这些数据又写回文件系统。本章学习一下InnoDB和MyISAM这两个存储引擎的数据如何在文件系统中存储。
2.1 查看默认数据库
查看一下在我的计算机上当前有哪些数据库
mysql SHOW DATABASES;可以看到有4个数据库是属于MySQL自带的系统数据库。
mysql MySQL 系统自带的核心数据库它存储了MySQL的用户账户和权限信息一些存储过程、事件的定义信息一些运行过程中产生的日志信息一些帮助信息以及时区信息等。information_schema MySQL 系统自带的数据库这个数据库保存着MySQL服务器 维护的所有其他数据库的信息 比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据而是一些 描述性信息有时候也称之为 元数据 。在系统数据库 information_schema 中提供了一些以innodb_sys 开头的表用于表示内部系统表。
mysql USE information_schema;
Database changedmysql SHOW TABLES LIKE innodb_sys%;
--------------------------------------------
| Tables_in_information_schema (innodb_sys%) |
--------------------------------------------
| INNODB_SYS_DATAFILES |
| INNODB_SYS_VIRTUAL |
| INNODB_SYS_INDEXES |
| INNODB_SYS_TABLES |
| INNODB_SYS_FIELDS |
| INNODB_SYS_TABLESPACES |
| INNODB_SYS_FOREIGN_COLS |
| INNODB_SYS_COLUMNS |
| INNODB_SYS_FOREIGN |
| INNODB_SYS_TABLESTATS |
--------------------------------------------
10 rows in set (0.00 sec)performance_schema MySQL 系统自带的数据库这个数据库里主要保存MySQL服务器运行过程中的一些状态信息可以用来 监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句在执行过程的每个阶段都花费了多长时间内存的使用情况等信息。sys MySQL 系统自带的数据库这个数据库主要是通过 视图 的形式把information_schema和performance_schema 结合起来帮助系统管理员和开发人员监控 MySQL 的技术性能。
2.2 数据库在文件系统中的表示
使用CREATE DATABASE 数据库名语句创建一个数据库的时候在文件系统上实际发生了什么呢?其实很简单每个数据库都对应数据目录下的一个子目录或者说对应一个文件夹每当新建一个数据库时MySQL会帮我们做这两件事儿
在数据目录下创建一个和数据库名同名的子目录。在与该数据库名同名的子目录下创建一个名为db.opt的文件仅限MySQL5.7及之前版本)这个文件中包含了该数据库的各种属性比如该数据库的字符集和比较规则。
我们再看一下我的计算机上的数据目录下的内容:
[rootachang mysql]# cd /var/lib/mysql
[rootachang mysql]# ll
总用量 189980
-rw-r-----. 1 mysql mysql 56 7月 28 00:27 auto.cnf
-rw-r-----. 1 mysql mysql 179 7月 28 00:27 binlog.000001
-rw-r-----. 1 mysql mysql 820 7月 28 01:00 binlog.000002
-rw-r-----. 1 mysql mysql 179 7月 29 14:08 binlog.000003
-rw-r-----. 1 mysql mysql 582 7月 29 16:47 binlog.000004
-rw-r-----. 1 mysql mysql 179 7月 29 16:51 binlog.000005
-rw-r-----. 1 mysql mysql 179 7月 29 16:56 binlog.000006
-rw-r-----. 1 mysql mysql 179 7月 29 17:37 binlog.000007
-rw-r-----. 1 mysql mysql 24555 7月 30 00:28 binlog.000008
-rw-r-----. 1 mysql mysql 179 8月 1 11:57 binlog.000009
-rw-r-----. 1 mysql mysql 156 8月 1 23:21 binlog.000010
-rw-r-----. 1 mysql mysql 156 8月 2 09:25 binlog.000011
-rw-r-----. 1 mysql mysql 1469 8月 4 01:40 binlog.000012
-rw-r-----. 1 mysql mysql 156 8月 6 00:24 binlog.000013
-rw-r-----. 1 mysql mysql 179 8月 6 08:43 binlog.000014
-rw-r-----. 1 mysql mysql 156 8月 6 10:56 binlog.000015
-rw-r-----. 1 mysql mysql 240 8月 6 10:56 binlog.index
-rw-------. 1 mysql mysql 1676 7月 28 00:27 ca-key.pem
-rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 ca.pem
-rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 client-cert.pem
-rw-------. 1 mysql mysql 1676 7月 28 00:27 client-key.pem
drwxr-x---. 2 mysql mysql 4096 7月 29 16:34 dbtest
-rw-r-----. 1 mysql mysql 196608 8月 6 10:58 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql 8585216 7月 28 00:27 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql 3486 8月 6 08:43 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 8月 6 10:56 ibdata1
-rw-r-----. 1 mysql mysql 50331648 8月 6 10:58 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 7月 28 00:27 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 8月 6 10:56 ibtmp1
drwxr-x---. 2 mysql mysql 4096 8月 6 10:56 #innodb_temp
drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 mysql
-rw-r-----. 1 mysql mysql 26214400 8月 6 10:56 mysql.ibd
srwxrwxrwx. 1 mysql mysql 0 8月 6 10:56 mysql.sock
-rw-------. 1 mysql mysql 5 8月 6 10:56 mysql.sock.lock
drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 performance_schema
-rw-------. 1 mysql mysql 1680 7月 28 00:27 private_key.pem
-rw-r--r--. 1 mysql mysql 452 7月 28 00:27 public_key.pem
-rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 server-cert.pem
-rw-------. 1 mysql mysql 1680 7月 28 00:27 server-key.pem
drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 sys
drwxr-x---. 2 mysql mysql 4096 7月 29 23:10 temp
-rw-r-----. 1 mysql mysql 16777216 8月 6 10:58 undo_001
-rw-r-----. 1 mysql mysql 16777216 8月 6 10:58 undo_002
这个数据目录下的文件和子目录比较多除了 information_schema 这个系统数据库外其他的数据库在 数据目录 下都有对应的子目录。
以我的 temp 数据库为例在MySQL5.7 中打开进入到自定义的数据库目录对应的文件
默认MySQL5.5之后使用的存储引擎就是InnoDB所以此案例中讲解的是InnoDB存储引擎。.opt结尾存放当前数据库的一些信息比如字符集、比较规则等。每张表对应2个文件.frim、.ibd .frim存储表结构.ibd5.7表数据默认存放在此文件夹下ibd又叫作独立表空间之前的某个版本5.5、5.6也可能存放的是ibdata1目录中系统表空间在数据库目录mysql下
[rootatguigu02 mysql]# cd ./temp
[rootatguigu02 temp]# ll
总用量 1144
-rw-r-----. 1 mysql mysql 8658 8月 18 11:32 countries.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 countries.ibd
-rw-r-----. 1 mysql mysql 61 8月 18 11:32 db.opt
-rw-r-----. 1 mysql mysql 8716 8月 18 11:32 departments.frm
-rw-r-----. 1 mysql mysql 147456 8月 18 11:32 departments.ibd
-rw-r-----. 1 mysql mysql 3017 8月 18 11:32 emp_details_view.frm
-rw-r-----. 1 mysql mysql 8982 8月 18 11:32 employees.frm
-rw-r-----. 1 mysql mysql 180224 8月 18 11:32 employees.ibd
-rw-r-----. 1 mysql mysql 8660 8月 18 11:32 job_grades.frm
-rw-r-----. 1 mysql mysql 98304 8月 18 11:32 job_grades.ibd
-rw-r-----. 1 mysql mysql 8736 8月 18 11:32 job_history.frm
-rw-r-----. 1 mysql mysql 147456 8月 18 11:32 job_history.ibd
-rw-r-----. 1 mysql mysql 8688 8月 18 11:32 jobs.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 jobs.ibd
-rw-r-----. 1 mysql mysql 8790 8月 18 11:32 locations.frm
-rw-r-----. 1 mysql mysql 131072 8月 18 11:32 locations.ibd
-rw-r-----. 1 mysql mysql 8614 8月 18 11:32 regions.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 regions.ibd在MySQL8.0中打开
.ibd可以看到只有.ibd结尾的文件因为在8.0中把存储表结构的.frm文件合并到了.ibd文件中如何证明详情查看–2.3.1-3疑问
[rootatguigu01 mysql]# cd ./temp
[rootatguigu01 temp]# ll
总用量 1080
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 countries.ibd
-rw-r-----. 1 mysql mysql 163840 7月 29 23:10 departments.ibd
-rw-r-----. 1 mysql mysql 196608 7月 29 23:10 employees.ibd
-rw-r-----. 1 mysql mysql 114688 7月 29 23:10 job_grades.ibd
-rw-r-----. 1 mysql mysql 163840 7月 29 23:10 job_history.ibd
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 jobs.ibd
-rw-r-----. 1 mysql mysql 147456 7月 29 23:10 locations.ibd
-rw-r-----. 1 mysql mysql 131072 7月 29 23:10 regions.ibd2.3 表在文件系统中的表示
我们的数据其实都是以记录的形式插入到表中的每个表的信息其实可以分为两种:
表结构的定义表中的数据
表结构就是该表的名称表里边有多少列每个列的数据类型约束条件和索引使用的字符集和比较规则等各种信息这些信息都体现在了我们的建表语句中了。
2.3.1 InnoDB存储引擎模式
1.表结构
为了保存表结构InnoDB 在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件 文件名是这样
表名.frm比方说我们在 atguigu 数据库下创建一个名为test的表
mysql USE atguigu;
Database changedmysql CREATE TABLE test (- c1 INT- );
Query OK, 0 rows affected (0.03 sec)那在数据库 atguigu 对应的子目录下就会创建一个名为test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以二进制格式存储的我们直接打开是乱码的。
2.表中数据和索引 储备知识:(索引章节会讲到) InnoDB其实是使用页为基本单位来管理存储空间的默认的页大小为16KB。对于InnoDB存储引擎来说每个索引都对应着一棵B树该B树的每个节点都是一个数据页数据页之间不必要是物理连续的因为数据页之间有双向链表来维护着这些页的顺序。InnoDB的聚簇索引的叶子节点存储了完整的用户记录也就是所谓的索引即数据数据即索引 为了更好的管理这些页InnoDB提出了一个表空间或者文件空间(英文名: table space或者file space )的概念这个表空间是一个抽象的概念它可以对应文件系统上一个或多个真实文件〈不同表空间对应的文件数量可能不同)。每一个表空间可以被划分为很多个页我们的表数据就存放在某个表空间下的某些页里。这里表空间有几种不同的类型:
① 系统表空间system tablespace 默认情况下InnoDB会在数据目录下创建一个名为ibdata1、大小为 12M 的文件这个文件就是对应的 系统表空间 在文件系统上的表示。怎么才12M注意这个文件是 自扩展文件 当不够用的时候它会自己增加文件大小。
当然如果你想让系统表空间对应文件系统上多个实际文件或者仅仅觉得原来的 ibdata1 这个文件名难听那可以在MySQL启动时配置对应的文件路径以及它们的大小比如我们这样修改一下my.cnf 配置文件
[server]
innodb_data_file_pathdata1:512M;data2:512M:autoextend这样在MySQL启动之后就会创建这两个512M大小的文件作为系统表空间其中的autoextend表明这两个文件如果不够用会自动扩展data2文件的大小。
需要注意的一点是在一个MySQL服务器中系统表空间只有一份。从MySQL5.5.7至到MySQL5.6.6之间的各个版本中我们表中的数据都会被默认存储到这个系统表空间。
② 独立表空间(file-per-table tablespace)
在MySQL5.6.6以及之后的版本中InnoDB并不会默认的把各个表的数据存储到系统表空间中而是为 每一个表建立一个独立表空间 也就是说我们创建了多少个表就有多少个独立表空间。使用 独立表空间 来存储表数据的话会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件文件名和表 名相同只不过添加了一个.ibd的扩展名而已所以完整的文件名称长这样
表名.ibd比如我们使用了 独立表空间 去存储atguigu数据库下的 test 表的话那么在该表所在数据库对应的 atguigu 目录下会为test表创建这两个文件
test.frm
test.ibd其中 test.ibd 文件就用来存储test表中的数据和索引。
③ 系统表空间与独立表空间的设置 我们可以自己指定使用系统表空间还是 独立表空间 来存储数据这个功能由启动参数innodb_file_per_table 控制比如说我们想刻意将表数据都存储到 系统表空间 时可以在启动MySQL服务器的时候这样配置
[server]
innodb_file_per_table0 # 0代表使用系统表空间 1代表使用独立表空间默认情况
mysql show variables like innodb_file_per_table;
------------------------------
| Variable_name | Value |
------------------------------
| innodb_file_per_table | ON |
------------------------------
1 row in set (0.01 sec)说明: inmodb.file_per. table参数的修改只对新建的表起作用对于已经分配了表空间的表不起作用。
如果我们想把已经存在系统表空间中的表转移到独立表空间可以使用下边的语法:
ALTER TABLE 表名TABLESPACE [ ] innodb_file_per_table ;或者把已经存在独立表空间的表转移到系统表空间可以使用下边的语法:
ALTER TABLE 表名TABLESPACE [] innodb_system ;其中中括号扩起来的可有可无比如我们想把test表从独立表空间移动到系统表空间可以这么写:
ALTER TABLE test TABLESPACE innodb_system ;④ 其他类型的表空间 随着MySQL的发展除了上述两种老牌表空间之外现在还新提出了一些不同类型的表空间比如通用表空间general tablespace、临时表空间temporary tablespace等。
3.疑问 .frm在MySQL8中不存在了。那去哪里了呢?
这就需要解析ibd文件。Oracle官方将frm文件的信息及更多信息移动到叫做序列化字典信息(Serialized DictionarylnformationSDI) SDI被写在ibd文件内部。MySQL 8.0属于Oracle旗下同理。
为了从IBD文件中提取sDI信息oracle提供了一个应用程序 ibd2sdi。 ibd2sdi官方文档 这个工具不需要下载MySQL8自带的有只要你配好环境变量就能到处用。
(1查看表结构 到存储ibd文件的目录下执行下面的命令:
# 修改为当前表的名字如 student
ibd2sdi --dump-filestudent.txt student.ibd结果如图所示
这样ibd2sdi就会把.ibd里存储的表结构以json的格式保存在student.txt中会自动生成此文件vim进入到此文件中显示如下vim ./student.txt
图中标记部分从上到下分别表示
表名列列名列的长度
通过上面的测试结果可以发现,MySQLa把之前版本的.frm文件合并到ibd文件中了。
2.3.2 MyISAM存储引擎模式
1.表结构
在存储表结构方面 MYISAM和InnoDB一样也是在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件
表名.frm2.表中数据和索引 在MyISAM中的索引全部都是 二级索引 该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件同时表数据都存放在对应的数据库子目录下。假如test表使用MyISAM存储引擎的话那么在它所在数据库对应的 atguigu 目录下会为test表创建这三个文件
test.frm 存储表结构
test.MYD 存储数据 (MYData)
test.MYI 存储索引 (MYIndex)其中test.MYD代表表的数据文件也就是我们插入的用户记录。采用独立表存储模式每个表对应一个MYD文件; test.MY工代表表的索引文件我们为该表创建的索引都会放到这个文件中。
举例创建一个MYISAM 表使用ENGINE选项显式指定引擎。因为 InnoDB 是默认引擎。
CREATE TABLE student_myisam (id bigint NOT NULL AUTO_INCREMENT,name varchar(64) DEFAULT NULL,age int DEFAULT NULL,sex varchar(2) DEFAULT NULL, PRIMARY KEY (id))ENGINEMYISAM AUTO_INCREMENT0 DEFAULT CHARSETutf8mb3;MySQL8版本中: (1进入数据库目录mysql下创建对应的数据库文件同 InnoDB 包含三个文件:
# 总结MyISAM存储引擎模式中8.0的sdi文件就相当于5.7的frm文件用来存储表结构
student_myisan_390.sdi -- 存储元数据
student_myisam.MYD -- 存储数据
student_myisam.MYI -- 存储索引对于InnoDB表SDl与innoDB用户表空间中的数据一起存储。对于MyISAM和其他存储引擎它被写入数据目录中的.sdi文件。
在MySQL8.0中MyISAN存储引擎不提供分区支持。在以前版本的MySQL中创建的分区MyISAM表不能在MysQL 8.0中使用。
在MySQL5.7中: (1查看文件目录如图所示: 包含三个文件:
# 总结.MYD.MYI.ibd表示MyISAM存储引擎模式的存储数据和索引方式是分开
# 存储的而在 InnoDB中统一使用.ibd文件存储数据和索引。student_myisam.frm -- 存储表结构
student_myisam.MYD -- 存储数据
student_myisam.MYI -- 存储索引可以发现在之前的数据库版本中MyISAM引擎已存在frm文件但是在MysQL8之后也和InnoDB引擎一样去掉了放入了sdi文件中。
2.4 小结
举例数据库a 表b。 1、如果表b采用 InnoDB data\a中会产生1个或者2个文件
b.frm描述表结构文件字段长度等如果采用 系统表空间 模式的数据信息和索引信息都存储在ibdata1中如果采用 独立表空间 存储模式data\a中还会产生 b.ibd 文件存储数据信息和索引信息
此外
① MySQL5.7 中会在data/a的目录下生成db.opt文件用于保存数据库的相关配置。比如字符集、比较规则。而MySQL8.0不再提供db.opt文件。
② MySQL8.0中不再单独提供b.frm而是合并在b.ibd文件中。
2、如果表b采用 MyISAM data\a中会产生3个文件
MySQL5.7 中b.frm描述表结构文件字段长度等。 MySQL8.0 中 b.xxx.sdi描述表结构文件字段长度等b.MYD (MYData)数据信息文件存储数据信息(如果采用独立表存储模式)b.MYI (MYIndex)存放索引信息文件
2.5 视图在文件系统的表示
我们知道MysQL中的视图其实是虚拟的表也就是某个查询语句的一个别名而已所以在存储视图的时候是不需要存储真实的数据的只需要把它的结构存储起来就行了。和表一样描述视图结构的文件也会被存储到所属数据库对应的子目录下边只会存储一个视图名.frm的文件。如下图中的: emp_details_view.frm
[ rootatguiguB2 mysql]# cd ./temp
[ rootatguigue2 temp]# l1
总用量1144
-rw-r-----. 1 mysql mysql 8658 8月 18 11:32 countries.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 countries.ibd
-rw-r-----. 1 mysql mysql 61 8月 18 11∶32 db.opt
-rw-r-----. 1 mysql mysql 8716 8月 18 11:32 departments.frm
-rw-r-----. 1 mysql mysql 147456 8月 18 11:32 departments.ibd
-rw-r-----. 1 mysql mysql 3017 8月 18 11:32 emp_details_view.frm
-rw-r-----. 1 mysql mysql 8982 8月 18 11:32 employees.frm
-rw-r-----. 1 mysql mysql 180224 8月 18 11:32 employees.ibd
-rw-r-----. 1 mysql mysql 8668 8月 18 11:32 job_grades.frm
-rw-r-----. 1 mysql mysql 98304 8月 18 11:32 job_grades.ibd
-rw-r-----. 1 mysql mysql 8736 8月 18 11:32 job_history.frm
-rw-r-—---. 1 mysql mysql 147456 8月 18 11:32 job_history.ibd
-rw-r-----. 1 mysql mysql8688 8月 18 11:32 jobs.frm
-rw-r-----. 1 mysql mysql 114688 8月 18 11:32 jobs.ibd
-rw-r-—---. 1 mysql mysql8790 8月 18 11:32 locations.frm
-rw-r-----. 1 mysql mysql 131072 8月 18 11:32 locations.ibd
-rw-r-----. 1 mysql mysql 8614 8月 18 11:32 regions.frm
-rw-r-----. 1 mvsql mysql 114688 8月 18 11:32 regions.ibd
2.6 其它的文件
除了我们上边说的这些用户自己存储的数据以外数据目录下还包括为了更好运行程序的一些额外文件主要包括这几种类型的文件:
服务器进程文件 我们知道每运行一个MySQL服务器程序都意味着启动一个进程。MySQL服务器会把自己的进程ID写入到一个文件中。服务器日志文件 在服务器运行过程中会产生各种各样的日志比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途后面讲解。默认/自动生成的SSL和RSA证书和密钥文件 主要是为了客户端和服务器安全通信而创建的一些文件。
