mysql千万级数据分页查询优化
场景:订单表order,有1千1百万条记录,orderId为主键
1. 直接用limit start, count分页语句查询
select * from order limit start, count当起始页较小时,查询没有性能问题,我们分别看下从1千, 1万,10万,100万,1000万,开始分页的执行时间如下:
select * from order LIMIT 1000, 10 0.03s
select * from order LIMIT 10000, 10 0.09s
select * from order LIMIT 100000, 10 0.6s
select * from order LIMIT 1000000, 10 6s
select * from order LIMIT 10000000, 10 80s
从中我们也能总结出两件事情:
1)limit语句的查询时间与起始记录的位置成正比
2)limit语句对记录很多的表并不适合直接使用。
2.limit分页查询优化
1)尽量给出查询的大致范围
select * from order where orderId > 1000000 limit 0,10 0.03s
通过索引而不是全表扫描来找到数据,再进行分页
2)子查询法
select a.*
from order a JOIN
(select order_id from order LIMIT 1000000, 10) b on a.order_id=b.order_id 0.5s
内层子查询通过索引扫描先进行分页得到数据,再关联外层查询通过索引查找得到最终数据,因为索引文件比数据文件小,所以内层查询时间耗时相对较小,而且内层查询中只包含索引列(覆盖索引),数据就在查询索引上面,无需进行额外的查找