1. 查询优化

SQL优化步骤：

① 慢查询的开启并捕获

②explain +慢 SQL 分析

④show profile 查询 SQL 在 MySQL 服务器里面的执行细节和生命周期情况

⑤SQL 数据库服务器的参数调优。

1）永远小表驱动大表

case:

EXISTS 和 in：

SELECT ... FROM table WHERE EXISTS (subquery)：该语法可以理解为：将主查询的数据，放到子查询中做条件验证，根据验证结果（TRUE 或 FALSE）来决定主查询的数据结果是否得以保留。

提示

EXISTS (subquery) 只返回TRUE或FALSE，因此子查询中的 SELECT * 也可以是 SELECT 1 或 select 'X’，官方说法是实际执行时会忽略SELECT清单，因此没有区别。
EXISTS 子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比，如果担忧效率问题，可进行实际检验以确定是否有效率问题。
EXISTS 子查询往往也可以用条件表达式、其他子查询或者 JOIN 来替代，何种最优需要具体问题具体分析。

2）order by 关键字优化

①ORDER BY子句，尽量使用 Index 方式排序，避免使用 FileSort 方式排序

age 有索引，不会产生内排序。

age 和 birth 都有索引，而且 order by 是按顺序的，不会产生内排序。

没有 age，所以产生内排序。

顺序和建的索引不一样，所以会产生内排序。

结论：MySQL 支持 2 种方式的排序，FileSort 和 Index，Index 效率高。它指 MySQL 扫描索引本身完成排序。FileSort 方式效率较低。

ORDER BY 满足两情况，会使用 Index 方式排序。ORDER BY语句使用索引最左前列；使用where子句与OrderBy子句条件列组合满足索引最左前列。（符合最佳左前缀原则）

②尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀。

③如果不在索引列上，filesort 有两种算法：mysql 就要启动双路排序和单路排序。

双路排序：MySQL4.1之前是使用双路排序，字面意思是两次扫描磁盘，最终得到数据。读取行指针和 order by 列，对他们进行排序，然后扫描已经排序好的列表，按照列表中的值重新从列表中读取对应的数据传输；从磁盘取排序字段，在 buffer 进行排序，再从磁盘取其他字段。取一批数据，要对磁盘进行两次扫描，众所周知，I\O是很耗时的，所以在mysql4.1之后，出现了第二张改进的算法，就是单路排序。
单路排序：从磁盘读取查询需要的所有列，按照orderby列在buffer对它们进行排序，然后扫描排序后的列表进行输出，它的效率更快一些，避免了第二次读取数据，并且把随机IO变成顺序IO，但是它会使用更多的空间，因为它把每一行都保存在内存中了。

引申出的问题：
a）由于单路是后出来的，总体而言好过双路；
b）但是用单路有问题：

在 sort_buffer 中，单路排序比双路排序要多占用很多空间，因为单路排序是把所有字段都取出, 所以有可能取出的数据的总大小超出了 sort_buffer 的容量，导致每次只能取 sort_buffer 容量大小的数据，进行排序（创建tmp文件，多路合并），排完再取sort_buffer容量大小，再排……从而多次I/O。

本来想省一次I/O操作，反而导致了大量的I/O操作，反而得不偿失。

④优化策略

增大sort_buffer_size参数的设置（用于单路排序的内存大小）
增大max_length_for_sort_data参数的设置（单次排序字段大小。单次排序请求）

why：

提高 Order By 的速度

a）Order by 时 select * 是一个大忌，只 Query 需要的字段，这点非常重要。在这里的影响是：

当 Query 的字段大小总和小于 max_length_for_sort_data 而且排序字段不是 TEXT|BLOB 类型时，会用改进后的算法——单路排序，否则用老算法——多路排序。

两种算法的数据都有可能超出 sort_buffer 的容量，超出之后，会创建 tmp 文件进行合并排序，导致多次 I/O，但是用单路排序算法的风险会更大一些，所以要提高 sort_buffer_size。

b）尝试提高 sort_buffer_size

不管用哪种算法，提高这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的。

c）尝试提高 max_length_for_sort_data

提高这个参数，会增加用改进算法的概率。但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大，明显症状是高的磁盘I/O活动和低的处理器使用率。

⑤总结：

3）group by 关键字优化

group by 实质是先排序后进行分组，遵照索引建的最佳左前缀
当无法使用索引列，增大 max_length_for_sort_data 参数的设置 + 增大 sort_buffer_size 参数的设置
where 高于 having，能写在 where 限定的条件就不要去 having 限定了。

2. 慢查询日志

1）简介

MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。

具体指运行时间超过 long_query_time 值的 SQL，则会被记录到慢查询日志中。long_query_time 的默认值为 10，意思是运行 10 秒以上的语句。

由他来查看哪些 SQL 超出了我们的最大忍耐时间值，比如一条 SQL 执行超过 5 秒钟，我们就算慢 SQL，希望能收集超过 5 秒的 SQL，结合之前 explain 进行全面分析。

2）操作

①说明：

默认情况下，MySQL 数据库没有开启慢查询日志，需要我们手动来设置这个参数。

当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件。

②查看是否开启及如何开启

默认：SHOW VARIABLES LIKE '%slow_query_log%';

默认情况下 slow_query_log 的值为 OFF，表示慢查询日志是禁用的，可以通过设置 slow_query_log 的值来开启。

开启：set global slow_query_log = 1

使用 set global slow_query_log = 1 开启了慢查询日志只对当前数据库生效，如果 MySQL 重启后则生效。

如果要永久生效，就必须修改配置文件 my.cnf（其它系统变量也是如此）。修改 my.cnf 文件，[mysqld] 下增加或修改参数slow_query_log 和 slow_query_log_file 后，然后重启 MySQL 服务器。也即将如下两行配置进 my.cnf 文件：

slow_query_log = 1

slow_query_log_file = /var/lib/mysql/atguigu-slow.log

关于慢查询的参数 slow_query_log_file ，它指定慢查询日志文件的存放路径，系统默认会给一个缺省的文件 host_name-slow.log（如果没有指定参数 slow_query_log_file 的话）

③那么开启慢查询日志后，什么样的 SQL 参会记录到慢查询里面？

这个是由参数 long_query_time 控制，默认情况下 long_query_time 的值为 10 秒，命令：SHOW VARIABLES LIKE 'long_query_time%';

可以使用命令修改，也可以在 my.cnf 参数里面修改。

假如运行时间正好等于 long_query_time 的情况，并不会被记录下来。也就是说，在 mysql 源码里是判断大于 long_query_time，而非大于等于。

④案例

a）查看当前多少秒算慢：SHOW VARIABLES LIKE 'long_query_time%';

b）设置慢的阙值时间：set global long_query_time=3;

c）为什么设置后看不出变化？

需要重新连接或者新开一个回话才能看到修改值。SHOW VARIABLES LIKE 'long_query_time%';
SHOW GLOBAL VARIABLES LIKE 'long_query_time%';

d）记录慢SQL并后续分析

先执行一条慢 SQL：

再跟踪日志信息：

e）查询当前系统中有多少条慢查询记录：show global status like '%Slow_queries%';

⑤配置版：

3）日志分析工具 mysqldumpshow

①查看 mysqldumpshow 的帮助信息

s:是表示按何种方式排序
c:访问次数
l:锁定时间
r:返回记录
t:查询时间
al:平均锁定时间
ar:平均返回记录数
at:平均查询时间
t:即为返回前面多少条的数据
g:后边搭配一个正则匹配模式，大小写不敏感的

②工作常用参考

3. 批量数据脚本

往表里插入1000W数据：

①建表

# 新建库
create database bigData;
use bigData;

 #1 建表dept
CREATE TABLE dept(  
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,   
dname VARCHAR(20) NOT NULL DEFAULT "",  
loc VARCHAR(13) NOT NULL DEFAULT ""  
) ENGINE=INNODB DEFAULT CHARSET=UTF8 ;  

 #2 建表emp
CREATE TABLE emp  (  
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/  
ename VARCHAR(20) NOT NULL DEFAULT "", /*名字*/  
job VARCHAR(9) NOT NULL DEFAULT "",/*工作*/  
mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*上级编号*/  
hiredate DATE NOT NULL,/*入职时间*/  
sal DECIMAL(7,2) NOT NULL,/*薪水*/  
comm DECIMAL(7,2) NOT NULL,/*红利*/  
deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0 /*部门编号*/  
)ENGINE=INNODB DEFAULT CHARSET=UTF8 ;

②设置参数 log_trust_function_createors

创建函数，假如报错：This function has none of DETERMINISTIC......

# 由于开启过慢查询日志，因为我们开启了 bin-log, 我们就必须为我们的function指定一个参数。

show variables like 'log_bin_trust_function_creators';
set global log_bin_trust_function_creators=1;

# 这样添加了参数以后，如果 mysqld 重启，上述参数又会消失，永久方法：

windows：下my.ini[mysqld]加上log_bin_trust_function_creators=1
linux下： /etc/my.cnf下my.cnf[mysqld]加上log_bin_trust_function_creators=1

③创建函数保证每条数据都不同

随机产生字符串

DELIMITER $$
CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
BEGIN    ##方法开始
 DECLARE chars_str VARCHAR(100) DEFAULT   'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ'; 
 ##声明一个 字符窜长度为 100 的变量 chars_str ,默认值 
 DECLARE return_str VARCHAR(255) DEFAULT '';
 DECLARE i INT DEFAULT 0;
##循环开始
 WHILE i < n DO  
 SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
##concat 连接函数  ，substring(a,index,length) 从index处开始截取
 SET i = i + 1;
 END WHILE;
 RETURN return_str;
END $$

#假如要删除
#drop function rand_string;

随机产生部门编号

#用于随机产生部门编号
DELIMITER $$
CREATE FUNCTION rand_num( ) 
RETURNS INT(5)  
BEGIN   
    DECLARE i INT DEFAULT 0;  
    SET i = FLOOR(100+RAND()*10);  
    RETURN i;  
END $$

#假如要删除
#drop function rand_num;

④创建存储过程

创建往emp表中插入数据的存储过程

DELIMITER $$
CREATE PROCEDURE insert_emp10000(IN START INT(10),IN max_num INT(10))  
BEGIN  
    DECLARE i INT DEFAULT 0;   
    #set autocommit =0 把autocommit设置成0  ；提高执行效率
    SET autocommit = 0;    
    REPEAT  ##重复
    SET i = i + 1;  
    INSERT INTO emp10000 (empno, ename ,job ,mgr ,hiredate ,sal ,comm ,deptno ) VALUES ((START+i) ,rand_string(6),'SALESMAN',0001,CURDATE(),FLOOR(1+RAND()*20000),FLOOR(1+RAND()*1000),rand_num());  
    UNTIL i = max_num   ##直到  上面也是一个循环
    END REPEAT;  ##满足条件后结束循环
    COMMIT;   ##执行完成后一起提交
END $$

#删除
# DELIMITER ;
# drop PROCEDURE insert_emp;

创建往 dept 表中插入数据的存储过程

#执行存储过程，往dept表添加随机数据
DELIMITER $$
CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))  
BEGIN  
    DECLARE i INT DEFAULT 0;   
    SET autocommit = 0;    
    REPEAT  
    SET i = i + 1;  
    INSERT INTO dept (deptno ,dname,loc ) VALUES (START +i ,rand_string(10),rand_string(8));  
    UNTIL i = max_num  
    END REPEAT;  
    COMMIT;  
END $$ 

#删除
# DELIMITER ;
# drop PROCEDURE insert_dept;

⑤调用存储过程

dept

DELIMITER ;
CALL insert_dept(100,10);

#执行存储过程，往emp表添加50万条数据
DELIMITER ;    #将 结束标志换回 ;
CALL insert_emp(100001,500000);

4. Show Profile

1）是什么：

是 mysql 提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于 SQL 的调优测量

默认情况下，参数处于关闭状态，并保存最近 15 次的运行结果

2）官网：

http://dev.mysql.com/doc/refman/5.5/en/show-profile.html

3）分析步骤

①是否支持，看看当前的SQL版本是否支持

②开启功能，默认是关闭，使用前需要开启

③运行SQL

select * from emp group by id%10 limit 150000
select * from emp group by id%20 order by 5

④查看结果，show profiles;

⑤诊断SQL，show profile cpu,block io for query 上一步前面的问题SQL 数字号码；

参数备注：

⑥日常开发需要注意的结论，出现其中一个都必须得优化 SQL。

converting HEAP to MyISAM 查询结果太大，内存都不够用了往磁盘上搬了。
Creating tmp table 创建临时表：拷贝数据到临时表，用完再删除
Copying to tmp table on disk 把内存中临时表复制到磁盘，危险！！！
locked

5. 全局查询日志

1）配置启用

2）编码启用

永远不要在生产环境开启这个功能。

（四）MySQL 锁机制

单椒煜泽

发布了48 篇原创文章 · 获赞 18 · 访问量 2789

私信关注

（三）查询截取分析