Optimize Table table_name 该命令会整理表的数据和索引的物理存储内容,可以减少磁盘空间、提高I/O的访问效率。该命令对不同存储引擎下的表作用不同。
Optimize Table适用场景:
1. InnoDB表做了大量的insert、update、delete操作,并且每个表一个ibd文件(设置了innodb_file_per_table值为ON)。
2. InnoDB表全文索引的部分列做了大量的insert、update、delete操作,需要设置innodb_optimize_fulltext_only = 1
3. 对AyISAM表或者Archive表执行delete操作删除了大量数据,这部分数据只是在记录中标记删除,下次插入数据时可以重用这部分数据,实际上磁盘空间并没有释放。
4. 对内存中的NDB表的可变数据列进行大量的修改。
Optimieze Table所做的操作:
对InnoDB表,该操作重建表更新索引的统计数据并释放未使用的空间。
optimize table操作使用Online DDL模式修改Innodb普通表和分区表,该方式会在prepare阶段和commit阶段持有表级锁:在prepare阶段修改表的元数据并且创建一个中间表,在commit阶段提交元数据的修改。由于prepare阶段和commit阶段在整个事务中的时间比例非常小,可以认为该optimize table的过程中不影响表的其他并发操作。
optimize table操作使用copy table而不是Online DDL的方式修改InnoDB的全文索引列。
对MyISAM表: 释放空间;索引没有排序的话进行排序;如果有需要的话更新统计数据。
详细描述参考官网:https://dev.mysql.com/doc/refman/5.7/en/optimize-table.html
测试范例:
1. 创建一张测试表,批量插入3700W条记录,初始ibd文件为6.1G
2. 执行optimize table,执行几分钟报错。
3. 再次执行该命令,检查系统状态,发现当前磁盘使用率100%。应该是optimize操作占用磁盘资源导致的。删除掉系统部分空间,重新执行该命令,执行了将近37min才执行成功,在此期间optimize操作占用磁盘空间最高达到10.7G,近似是表当前大小的2倍, cpu单核占用率100%,后台一致在进行文件操作。该表进行并发select和update操作没有阻塞,证明确实是采用Online DDL模式工作。执行完成后该表的ibd文件从6.1G降低到4.9G。
4.执行delete操作删掉一半记录数(1870W), 此时数据文件大小没有改变:
[root@ip-172-20-101-209 ~]# du -sh /var/lib/mysql/envision/ed_fan_data.*
12K /var/lib/mysql/envision/ed_fan_data.frm
4.9G /var/lib/mysql/envision/ed_fan_data.ibd
5. 执行optimize table结束后,此时数据文件大小减少为原来的一半:
[root@ip-172-20-101-209 ~]# du -sh /var/lib/mysql/envision/ed_fan_data.*
12K /var/lib/mysql/envision/ed_fan_data.frm
2.4G /var/lib/mysql/envision/ed_fan_data.ibd