MySQL的数据目录

欢迎来到蓝队云技术小课堂，每天分享一个技术小知识。

1. MySQL的主要目录结构

# find / -name mysql
/etc/logrotate.d/mysql
/etc/selinux/targeted/active/modules/100/mysql
/var/lib/mysql
/var/lib/mysql/mysql
/usr/bin/mysql
/usr/lib64/mysql
/usr/share/mysql

1.1 数据库文件存放路径

通过YUM安装的MySQL数据库文件的默认存放路径：/var/lib/mysql

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中，这个目录就是数据目录。

MySQL把数据都存到哪个路径下呢？其实数据目录对应着一个系统变量 datadir，可以通过如下命令进行查看：

mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.31 sec)

从结果中可以看出，在这里的MySQL的数据目录就是 /var/lib/mysql/。

1.2. 相关命令目录

相关命令目录：/usr/bin（mysqladmin、mysqlbinlog、mysqldump等命令）和/usr/sbin。

# ll /usr/bin/mysql*
-rwxr-xr-x. 1 root root 10531233 Sep  7  2021 /usr/bin/mysql
-rwxr-xr-x. 1 root root  9329019 Sep  7  2021 /usr/bin/mysqladmin
-rwxr-xr-x. 1 root root 11332910 Sep  7  2021 /usr/bin/mysqlbinlog
-rwxr-xr-x. 1 root root  9704285 Sep  7  2021 /usr/bin/mysqlcheck
-rwxr-xr-x. 1 root root  7648822 Sep  7  2021 /usr/bin/mysql_config_editor
-rwxr-xr-x. 1 root root    26931 Sep  7  2021 /usr/bin/mysqld_multi
-rwxr-xr-x. 1 root root    27790 Sep  7  2021 /usr/bin/mysqld_safe
-rwxr-xr-x. 1 root root  9625156 Sep  7  2021 /usr/bin/mysqldump
-rwxr-xr-x. 1 root root     7844 Sep  7  2021 /usr/bin/mysqldumpslow
-rwxr-xr-x. 1 root root  9348792 Sep  7  2021 /usr/bin/mysqlimport
-rwxr-xr-x. 1 root root  9798674 Sep  7  2021 /usr/bin/mysql_install_db
-rwxr-xr-x. 1 root root  7537333 Sep  7  2021 /usr/bin/mysql_plugin
-rwxr-xr-x. 1 root root 17755032 Sep  7  2021 /usr/bin/mysqlpump
-rwxr-xr-x. 1 root root  9278592 Sep  7  2021 /usr/bin/mysql_secure_installation
-rwxr-xr-x. 1 root root  9290525 Sep  7  2021 /usr/bin/mysqlshow
-rwxr-xr-x. 1 root root  9403941 Sep  7  2021 /usr/bin/mysqlslap
-rwxr-xr-x. 1 root root  7851137 Sep  7  2021 /usr/bin/mysql_ssl_rsa_setup
-rwxr-xr-x. 1 root root  5160824 Sep  7  2021 /usr/bin/mysql_tzinfo_to_sql
-rwxr-xr-x. 1 root root 12548409 Sep  7  2021 /usr/bin/mysql_upgrade

安装目录下非常重要的bin目录，它里面存储了许多关于控制客户端程序的命令（许多可执行文件，比如mysql、mysqldump等）。而数据目录时用来存储MySQL在运行过程中产生的数据。

1.3. 配置文件目录

配置文件目录：ll（命令及配置文件），/etc/mysql（如my.cnf）。

# ll /usr/share/mysql/
total 2072
drwxr-xr-x. 2 root root      24 Dec 31 14:00 bulgarian
drwxr-xr-x. 2 root root    4096 Dec 31 14:00 charsets
drwxr-xr-x. 2 root root      24 Dec 31 14:00 czech
drwxr-xr-x. 2 root root      24 Dec 31 14:00 danish
-rw-r--r--. 1 root root   25575 Sep  7  2021 dictionary.txt
drwxr-xr-x. 2 root root      24 Dec 31 14:00 dutch
drwxr-xr-x. 2 root root      24 Dec 31 14:00 english
-rw-r--r--. 1 root root  530464 Sep  7  2021 errmsg-utf8.txt
drwxr-xr-x. 2 root root      24 Dec 31 14:00 estonian
-rw-r--r--. 1 root root 1068800 Sep  7  2021 fill_help_tables.sql
drwxr-xr-x. 2 root root      24 Dec 31 14:00 french
drwxr-xr-x. 2 root root      24 Dec 31 14:00 german
drwxr-xr-x. 2 root root      24 Dec 31 14:00 greek
drwxr-xr-x. 2 root root      24 Dec 31 14:00 hungarian
-rw-r--r--. 1 root root    3999 Sep  7  2021 innodb_memcached_config.sql
-rw-r--r--. 1 root root    2221 Sep  7  2021 install_rewriter.sql
drwxr-xr-x. 2 root root      24 Dec 31 14:00 italian
drwxr-xr-x. 2 root root      24 Dec 31 14:00 japanese
drwxr-xr-x. 2 root root      24 Dec 31 14:00 korean
-rw-r--r--. 1 root root     773 Sep  7  2021 magic
-rw-r--r--. 1 root root     844 Sep  7  2021 mysql-log-rotate
-rw-r--r--. 1 root root    2171 Sep  7  2021 mysql_security_commands.sql
-rw-r--r--. 1 root root  288342 Sep  7  2021 mysql_sys_schema.sql
-rw-r--r--. 1 root root    1214 Sep  7  2021 mysql_system_tables_data.sql
-rw-r--r--. 1 root root  155031 Sep  7  2021 mysql_system_tables.sql
-rw-r--r--. 1 root root   10862 Sep  7  2021 mysql_test_data_timezone.sql
drwxr-xr-x. 2 root root      24 Dec 31 14:00 norwegian
drwxr-xr-x. 2 root root      24 Dec 31 14:00 norwegian-ny
drwxr-xr-x. 2 root root      24 Dec 31 14:00 polish
drwxr-xr-x. 2 root root      24 Dec 31 14:00 portuguese
drwxr-xr-x. 2 root root      24 Dec 31 14:00 romanian
drwxr-xr-x. 2 root root      24 Dec 31 14:00 russian
drwxr-xr-x. 2 root root      24 Dec 31 14:00 serbian
drwxr-xr-x. 2 root root      24 Dec 31 14:00 slovak
drwxr-xr-x. 2 root root      24 Dec 31 14:00 spanish
drwxr-xr-x. 2 root root      24 Dec 31 14:00 swedish
drwxr-xr-x. 2 root root      24 Dec 31 14:00 ukrainian
-rw-r--r--. 1 root root    1243 Sep  7  2021 uninstall_rewriter.sql

2. 数据库和文件系统的关系

像InnoDB、MyISAM这样的存储引擎都是把表存储在磁盘上的，操作系统用来管理磁盘的结构被称为文件系统，所以用专业一点的话来表述就是：像InnoDB、MyISAM这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入数据的时候，这些存储引擎会把这些数据又写回文件系统。

2.1. 查看默认数据库

show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

可以看到有4个数据库是属于MySQL自带的系统数据库。

• mysql：

MySQL系统自带的核心数据库，它存储了MySQL的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。

• information_schema：

MySQL 系统自带的数据库，这个数据库保存着MySQL服务器维护的所有其他数据库的信息，比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为元数据。在系统数据库 information_schema 中提供了一些以 innodb_sys 开头的表，用于表示内部系统表。

mysql> use information_schema;
Database changed
mysql> show tables like 'innodb_%';
+-----------------------------------------+
| Tables_in_information_schema (INNODB_%) |
+-----------------------------------------+
| INNODB_BUFFER_PAGE                      |
| INNODB_BUFFER_PAGE_LRU                  |
| INNODB_BUFFER_POOL_STATS                |
| INNODB_CACHED_INDEXES                   |
| INNODB_CMP                              |
| INNODB_CMPMEM                           |
| INNODB_CMPMEM_RESET                     |
| INNODB_CMP_PER_INDEX                    |
| INNODB_CMP_PER_INDEX_RESET              |
| INNODB_CMP_RESET                        |
| INNODB_COLUMNS                          |
| INNODB_DATAFILES                        |
| INNODB_FIELDS                           |
......

• performance_schema

  MySQL 系统自带的数据库，这个数据库里主要保存MySQL服务器运行过程中的一些状态信息，可以用来监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。

• sys

  MySQL 系统自带的数据库，这个数据库主要是通过 视图 的形式把 information_schema 和 performance_schema 结合起来，帮助系统管理员和开发人员监控 MySQL 的技术性能。

2.2. 数据库在文件系统中的表示

使用 CREATE DATABASE 数据库名 语句创建一个数据库的时候，在文件系统上实际发生了什么呢？ 其实很简单，每个数据库都对应数据目录下的一个子目录，或者说对应一个文件夹，每当新建一个数据库时，MySQL会帮我们做这两件事儿：

1、在数据目录下创建一个和数据库名同名的字目录。

2、在与该数据库名同名的字目录下创建一个名为db.opt的文件（仅限MySQL5.7及之前版本），这个文件中包含了该数据库的各种属性，比如该数据库的字符集和比较规则。

首先看下这里的数据目录下的内容：

# cd /var/lib/mysql
# ll
total 122956
-rw-r-----. 1 mysql mysql       56 Dec 31 14:05 auto.cnf
-rw-------. 1 mysql mysql     1676 Dec 31 14:05 ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 Dec 31 14:05 ca.pem
-rw-r--r--. 1 mysql mysql     1112 Dec 31 14:05 client-cert.pem
-rw-------. 1 mysql mysql     1680 Dec 31 14:05 client-key.pem
drwxr-x---. 2 mysql mysql       54 Jan  2 14:39 dbdemo1
drwxr-x---. 2 mysql mysql       56 Jan  2 15:03 dbdemo2
-rw-r-----. 1 mysql mysql      562 Jan  2 14:55 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 Jan  2 15:03 ibdata1
-rw-r-----. 1 mysql mysql 50331648 Jan  2 15:03 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 Dec 31 14:05 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 Jan  2 14:55 ibtmp1
drwxr-x---. 2 mysql mysql     4096 Dec 31 14:05 mysql
srwxrwxrwx. 1 mysql mysql        0 Jan  2 14:55 mysql.sock
-rw-------. 1 mysql mysql        6 Jan  2 14:55 mysql.sock.lock
drwxr-x---. 2 mysql mysql     8192 Dec 31 14:05 performance_schema
-rw-------. 1 mysql mysql     1676 Dec 31 14:05 private_key.pem
-rw-r--r--. 1 mysql mysql      452 Dec 31 14:05 public_key.pem
-rw-r--r--. 1 mysql mysql     1112 Dec 31 14:05 server-cert.pem
-rw-------. 1 mysql mysql     1676 Dec 31 14:05 server-key.pem
drwxr-x---. 2 mysql mysql     8192 Dec 31 14:05 sys
drwxr-x---. 2 mysql mysql     4096 Dec 31 15:21 testdb

这个数据目录下的文件和子目录比较多，除了 information_schema 这个系统数据库外，其它的数据库都在数据目录下都有对应的子目录。

以我的 testdb 数据库为例，在MySQL5.7中打开：

# cd testdb
# ll
total 1236
-rw-r-----. 1 mysql mysql   8658 Dec 31 15:21 countries.frm
-rw-r-----. 1 mysql mysql 114688 Dec 31 15:21 countries.ibd
-rw-r-----. 1 mysql mysql     61 Dec 31 15:21 db.opt
-rw-r-----. 1 mysql mysql   8716 Dec 31 15:21 departments.frm
-rw-r-----. 1 mysql mysql 147456 Dec 31 15:21 departments.ibd
-rw-r-----. 1 mysql mysql   3033 Dec 31 15:21 emp_details_view.frm
-rw-r-----. 1 mysql mysql   8982 Dec 31 15:21 employees.frm
-rw-r-----. 1 mysql mysql 180224 Dec 31 15:21 employees.ibd
-rw-r-----. 1 mysql mysql   8660 Dec 31 15:21 job_grades.frm
-rw-r-----. 1 mysql mysql  98304 Dec 31 15:21 job_grades.ibd
-rw-r-----. 1 mysql mysql   8736 Dec 31 15:21 job_history.frm
-rw-r-----. 1 mysql mysql 147456 Dec 31 15:21 job_history.ibd
-rw-r-----. 1 mysql mysql   8688 Dec 31 15:21 jobs.frm
-rw-r-----. 1 mysql mysql 114688 Dec 31 15:21 jobs.ibd
-rw-r-----. 1 mysql mysql   8790 Dec 31 15:21 locations.frm
-rw-r-----. 1 mysql mysql 131072 Dec 31 15:21 locations.ibd
-rw-r-----. 1 mysql mysql   8610 Dec 31 15:21 order.frm
-rw-r-----. 1 mysql mysql  98304 Dec 31 15:21 order.ibd
-rw-r-----. 1 mysql mysql   8614 Dec 31 15:21 regions.frm
-rw-r-----. 1 mysql mysql 114688 Dec 31 15:21 regions.ibd

2.3. 表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的，每个表的信息其实可以分为两种：

1. 表结构的定义

2. 表中的数据

表结构就是该表的名称，表里边有多少列，每个列的数据类型，约束条件和索引，使用的字符集和比较规则等各种信息，这些信息都体现在我们的建表语句中了。

2.3.1. InnoDB存储引擎模式

1.表结构

为了保存表结构，InnoDB在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件，文件名是这样：

表名.frm

比如说我们在 testdb01 数据库下创建一个名为 test的表：

mysql> use testdb01;
Database changed
mysql> create table test(c1 int);
Query OK, 0 rows affected (0.03 sec)

那在数据库 testdb01对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀为.frm是以二进制格式存储的，直接打开是乱码的。

2.表中数据和索引

• InnoDB其实是使用页为基本单位来管理存储空间的，默认的页大小为16KB。

• 对于InnoDB存储引擎来说，每个索引都对应一颗B+树，该B+树都每个节点都是一个数据页，数据页之间不必要是物理连续的，因为数据页之间有双向链表来维护着这些页的顺序。

• InnoDB的聚簇索引的叶子节点存储了完整的用户记录，也就是所谓的索引即数据，数据即索引。

为了更好的管理这些页，InnoDB提出了一个表空间或者文件空间（英文名：table space或者file space）的概念，这个表空间是一个抽象的概念，它可以对应文件系统上一个或多个真实文件（不同表空间对应的文件数量可能不同）。每一个表空间可以被划分为很多个页，我么的表数据就存放在某个表空间下的某些页里。这里表空间有几种不同的类型：

① 系统表空间(system tablespace)

默认情况下，InnoDB会在数据目录下创建一个名为 ibdata1 、大小为 12M 的文件，这个文件就是对应的 系统表空间 在文件系统上的表示。怎么才12M？注意这个文件是 自扩展文件 ，当不够用的时候它会自己增加文件大小。

当然，如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得原来的 ibdata1 这个文件名难听，那可以在MySQL启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下my.cnf 配置文件：

[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在MySQL启动之后就会创建两个512M大小的文件作为系统表空间，其中的autoextend表明这两个文件如果不够用会自动扩展data2文件的大小。

需要注意一点的是，在一个MySQL服务器中，系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中，我们表中的数据都会被默认存储到这个系统表空间。

② 独立表空间(file-per-table tablespace)

在MySQL5.6.6以及之后的版本中，InnoDB并不会默认的把各个表的数据存储到系统表空间中，而是为每一个表建立一个独立表空间 ，也就是说我们创建了多少个表，就有多少个独立表空间。使用 独立表空间 来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同，只不过添加了一个 .ibd 的扩展名而已，所以完整的文件名称长这样：

表名.ibd

比如：我们使用了独立表空间去存储 testdb01 数据库下的 test 表的话，那么在该表所在数据库对应的 testdb01 目录下会为 test 表创建这两个文件：

test.frm
test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引。

③ 系统表空间与独立表空间的设置

我们可以自己指定使用 系统表空间 还是 独立表空间 来存储数据，这个功能由启动参数 innodb_file_per_table 控制，比如说我们想刻意将表数据都存储到 系统表空间 时，可以在启动 MySQL服务器的时候这样配置：

[server]
innodb_file_per_table=0 # 0：代表使用系统表空间； 1：代表使用独立表空间

默认情况：

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_file_per_table | ON    |
+-----------------------+-------+
1 row in set (0.01 sec)

说明：innodb_file_per_table参数到修改只对新建的表起作用，对于已经分配了表空间的表并不起作用。

如果我们想把已经保存在系统表空间中的表转移到独立表空间，可以使用下面的语法：

ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;

或者把已经存在独立表空间的表转移到系统表空间，可以使用下面的语法：

ALTER TABLE 表名 TABLESPACE [=] innodb_system;

④ 其他类型的表空间

随着MySQL的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，比如通用 表空间（general tablespace）、临时表空间（temporary tablespace）等。

3.疑问

.frm在MySQL8中不存在了，那去哪里了呢？

这就需要解析ibd文件，Oracle官方将frm文件的信息以及更多信息移动到叫做序列化字典信息（Serialized Dictionary Information，SDI）SDI被写在ibd文件内部。MySQL8.0属于Oracle旗下，同理。

为了从IBD文件中提取SDI信息，Oracle提供了一个应用程序ibd2sdi。

ibd2sdi官方文档

这个工具不需要下载， MySQL8自带的有，只要你配置好环境变量就能使用。

（1）查看表结构

到存储ibd文件到目录下，执行下面的命令：

ibd2sdi --dump-file=test.txt test.ibd

说明：--dump-file参数指定输出的文件路径。如这里输出到test.txt中，输出到文件内容为json格式，查看该文件部分内容如下：

图中标记部分从上到下分别表示

• 表名

• 列

• 列名

• 列的长度

通过上面的测试结果可以发现，MySQL8把之前版本的frm文件合并到ibd文件中了。

2.3.2. MyISAM存储引擎模式

1.表结构

在存储表结构方面， MyISAM 和 InnoDB 一样，也是在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件：

表名.frm

2.表中数据和索引

在MyISAM中的索引全部都是 二级索引 ，该存储引擎的 数据和索引是分开存放 的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件，同时表数据都存放在对应的数据库子目录下。假如 test 表使用MyISAM存储引擎的话，那么在它所在数据库对应的 testdb01 目录下会为 test 表创建这三个文件：

test.frm    存储表结构
test.MYD    存储数据（MYData）
test.MYI    存储索引（MYIndex）

其中test.MYD代表表的数据文件，也就是我们插入的用户记录。采用独立表存储模式，每个表对应一个MYD文件；test.MYI代表表的索引文件，我们为该表创建的索引都会放到这个文件中。

举例：创建一个MyISAM表，使用ENGINE选项显著指定引擎。因为InnoDB是默认引擎。

CREATE TABLE `student_myisam` (
    `id` bigint NOT NULL AUTO_INCREMENT,
    `name` varchar(64) DEFAULT NULL,
    `age` int DEFAULT NULL,
    `sex` varchar(2) DEFAULT NULL,
    PRIMARY KEY (`id`)
)ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;

在MySQL8版本中：

（1）进入数据库目录

包含三个文件：

student_myisam_404.sdi  -- 存储元数据
student_myisam.MYD      -- 存储数据
student_myisam.MYI      -- 存储索引

对于InnoDB表，SDI与InnoDB用户表空间中的数据一起存储。对于MyISAM和其它存储引擎，它被写入数据目录中的.sdi文件。

在MySQL 8.0中，MyISAM存储引擎不提供分区支持。在以前版本的 MySQL 中创建的分区 MyISAM 表不能在MySQL8.0中使用。

在MySQL5.7版本中：

（1）进入数据库目录

包含三个文件：

student_myisam.frm      -- 存储元数据
student_myisam.MYD      -- 存储数据
student_myisam.MYI      -- 存储索引

可以发现，在之前的数据库版本中，MyISAM引擎已存在frm文件，但是在MySQL8之后也和InnoDB引擎一样去掉了，放入了sdi文件中。

蓝队云官网上拥有完善的技术支持库可供参考，大家可自行查阅，更多技术问题，可以直接咨询。同时，蓝队云整理了运维必备的工具包免费分享给大家使用，需要的朋友可以直接咨询。

更多技术知识，蓝队云期待与你一起探索。