搜索
写经验 领红包
 > 动物

查询数据量大导致超时(数据库查询大量数据怎么办)

导语:查询的数据量超过阈值,不走索引直接全表扫描

查询数据量大导致超时(数据库查询大量数据怎么办)

也是很巧合,之前遇到过一次情况,一条SQL,根据时间范围查数据,但有时候速度很快,有时候速度就慢。

第一反应是没有设置索引,但开发人员告诉我已经设置了二级索引,查询的速度依然有快有慢。

通过explain解析,发现同一条SQL,时间范围不一样,有的使用了索引,有的全表扫描。

当时我都懵逼了!

经过查询,发现一种说法是当查询的数据量超过全表的30%,就不再走索引,而直接全表扫描。

经过排查,我们的情况恰好符合,如果某一周数据约小于全表数据的30%时,走索引,反之全表扫描。

当时临时给出的解决办法就是把数据缓存,要慢也就是第一次慢,可以忍受。也想过用覆盖索引,但是要查询的字段太多了,不可能搞个那么大的索引。

但为什么产生这种情况,没找到答案,后来一直断断续续地关注这个问题,现在发现了一个能说服我自己的解答:

先说一下,这个阈值不一定是30%,也可以是别的数。

简单地说,就是MySQL的优化器一旦认为走索引的代价高于全表扫描,就直接扫全表。这个结论可能反常识,因为我们一直听说的就是索引提高查询性能。

这里涉及两个因素:

1、如果走二级索引查询,步骤就是:二级索引--主键索引,这就是回表查询。

2、硬盘随机I/O的性能远低于顺序I/O。

所以如果你的查询数据量大到一定程度,MySQL认为回表查询的随机I/O代价大于顺序I/O全表扫的情况下,将放弃走索引。

本文内容由小珊整理编辑!