数据库索引与全表扫描有什么区别
本篇内容主要讲解"数据库索引与全表扫描有什么区别",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"数据库索引与全表扫描有什么区别"吧!
磁盘结构和基本耗时
磁盘的组织结构 盘片->磁道->扇区。由于盘片是并行操作的,因此可以忽略寻找盘片的时间。所以基本上要找一个数据需要找到对应的磁道(类似树的年轮),再找对应的扇区(一段扇形)。
磁盘性能的主要度量指标有以下几个:
访问时间:从发出读写请求到数据开始传输之间的时间。也就是磁盘定位数据的时间,在程序中就是那个 seek。访问时间包括寻道时间(找磁道)和旋转等待时间(找扇区)。一般在几毫秒级。
数据传输率:在定位数据之后。就开始将数据从磁盘和内存之间传输了。这个时间一般每秒几十MB。
顺序访问 vs 随机访问
磁盘上的文件是一块一块组织的,这里的块(block)是逻辑概念,可能512字节到几KB。从磁盘读数据需要一块一块读。即使你只读1Byte数据,也会读一块。
顺序访问:连续访问磁盘相邻的块。这样磁盘只需要一次磁盘寻道。
随机访问:随机访问磁盘不同位置的块,一般每次只读少量数据。这样磁盘每处理一个随机访问请求就需要一次磁盘寻道。随机访问的效率远低于顺序访问。
存储模型
硬件:磁盘数据传输率记做 T,平均访问时间记为 S。
数据:一个包含 N 个数据的数据集,数据是可比较的。数据在磁盘上无序存储,数据均匀分布。每个数据所占空间为 X,那么数据的总大小为 NX。
这张图表示数据在磁盘上的存放顺序:
索引:在数据上建立索引,索引可以看成数据的一种映射,一种表示方式。可以全部放在内存中,并且精确定位原始数据。
查询流程
查询模式:查询有过滤条件,假设过滤条件的选择度为 F,意思是查询结果集占总数据量的 F 倍,F 处于 [0,1] 之间。
现在有两种查询方式:全表扫描、索引。全表扫描和索引都是逻辑概念。
全表扫描:最简单的查询操作。即将数据从磁盘上一个个读到内存中做过滤,最后返回结果。这种方式的特点是不管数据有没有用,都先读出来,磁盘读取数据总量大,但是seek只有一次。对应磁盘的顺序访问。
黄色表示需要从磁盘读到内存中的数据,全表扫描时候就是这样:
全表扫描总耗时 = IO耗时 = NX/T
索引:由于磁盘上数据是乱序的,我们建一个B+树索引,并在内存中维护索引,索引将所有数据排序,并记录对应的磁盘位置。在查询时,首先在索引上过滤出所有结果集在磁盘上的位置,再到磁盘上去精确读取结果集。这种包括少量的磁盘IO+大量的 seek。对应磁盘的随机访问。
效果图如下图:磁盘的操作为定位一个数据,读取,再定位下一个数据......
Seek耗时:NFS
IO耗时:NFX/T
索引查询总耗时 = Seek耗时 + IO 耗时 = NFS + NFX/T
比较
接下来看看这些参数,在不考虑更新硬件时,磁盘吞吐率 T、平均访问耗时 S、数据量 N、每个数据大小 X 都是常量,没得改。
一共就 NTFSX 五个参数,接下来只有 F 了,这个东西是个变量,取决于查询过滤条件。比如你想查身高150以上的男生,这个过滤条件就没啥区分度,可能 F=0.8,大部分都会被选出来,但是如果查190以上的男生,可能 F=0.1,只有一小部分会被选出来。
有区别就有不同的应对措施,我们可以根据 F 选择查索引还是全表扫描。直接算一下什么时候索引查询比全表扫描快,也就是下边这个式子:
NFS + NFX/T < NX/T
即:F < X / (TS+X)
可以看到,跟总数据量没关系,当 F 足够小的时候,选择索引比较好。如果结果集比较多,seek过多,那么全表扫描是更优的。
例子
举个实际例子感受一下:
平均Seek时间: S=5 ms
磁盘吞吐率:T=300 MB/s
单个数据大小:X=128 Byte
这个时候,过滤条件的选择度需要小于 0.008%。
到此,相信大家对"数据库索引与全表扫描有什么区别"有了更深的了解,不妨来实际操作一番吧!这里是网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!