vlambda博客
学习文章列表

mysql千万级数据分页查询优化

场景:订单表order,有1千1百万条记录,orderId为主键

1.  直接用limit start, count分页语句查询

select * from order limit start, count当起始页较小时,查询没有性能问题,我们分别看下从1千, 1万,10万,100万,1000万,开始分页的执行时间如下:

select * from order  LIMIT 1000, 10                  0.03s

select * from order  LIMIT 10000, 10                 0.09s

select * from order  LIMIT 100000, 10                0.6s

select * from order  LIMIT 1000000, 10               6s

select * from order  LIMIT 10000000, 10              80s

从中我们也能总结出两件事情:

1)limit语句的查询时间与起始记录的位置成正比

2)limit语句对记录很多的表并不适合直接使用。

 

2.limit分页查询优化

1)尽量给出查询的大致范围

select * from order where orderId > 1000000    limit 0,10     0.03s

通过索引而不是全表扫描来找到数据,再进行分页

2)子查询法

select  a.*

from order a JOIN

(select order_id from order LIMIT 1000000, 10) b  on a.order_id=b.order_id   0.5s

内层子查询通过索引扫描先进行分页得到数据,再关联外层查询通过索引查找得到最终数据,因为索引文件比数据文件小,所以内层查询时间耗时相对较小,而且内层查询中只包含索引列(覆盖索引),数据就在查询索引上面,无需进行额外的查找