mysql大数据使用limit分页查询优化
优化前
我们一般是由limit做查询时的语句为:
SELECT
*
FROM
table a
LIMIT 1000000, 10 ;
当数据库的数量越大,查询数据越往后时候SQL语句执行的数据将会变得越慢。
优化后
优化后的语句为:
SELECT
*
FROM
table t1
RIGHT JOIN
(SELECT
id
FROM
table
LIMIT 1000000, 10) t2
ON t1.id = t2.id ;
通过优化后SQL语句查询速度得到大大提升
如果表为主键自增下面优化速度将会更高:
SELECT
*
FROM
table t1
WHERE id > 1000000
LIMIT 10
原理
根据高性能MySQL中关于limit的说明:
limit语句在偏移量巨大时,如select * from table where xxxx=‘xx’ limit 1000000,10;。
对效率的影响主要在于MySQL会查询1,000,010条数据,并取最后10条,抛弃掉前面的1,000,000条。
也就是说,MySQL耗时耗力找到的数据,绝大部分都得废弃!
MySQL查找索引xxxx的二级索引树,然后根据二级索引树上的主键值回表到聚簇索引树上进行扫描数据,为了limit而重复大量无用的IO操作