概述
已经学习了这么多章节了,你有没有发现,两种数据结构,散列表和链表,经常会被放在一起使用。你还记得,前面的章节中都有哪些地方讲到散列表和链表的组合使用吗?
在链表那一节,我讲到如何用链表来实现 LRU 缓存淘汰算法,但是链表实现的 LRU 缓存淘汰算法的时间复杂度是 O ( n ) O(n) O(n),当时提到了,通过散列表可以将这个时间复杂度降低到 O ( 1 ) O(1) O(1)。
在跳表那一节,提到 Redis 的有序集合是使用跳表来实现的,跳表可以看做这一种改进版的链表。当时我们也提到,Redis 有序集合不仅使用了链表,还用到了散列表。
此外,如果你熟悉 Java 编程语言,你会发现 LinkedHashMap
这样 一个常用的容器,也用到了散列表和链表两者数据结构。
本章,我们来看看,在这几个问题中,散列表和链表都是如何组合起来使用,以及为什么散列表和链表会经常放到一块使用。
LRU 缓存淘汰算法
在链表那一节中,我提到,借助散列表,可以将时间复杂度降低到 O ( 1 ) O(1) O(1)。现在,我们来看看它是如何做到的。
首先,我们来回顾一下当时我们是如何通过链表实现 LRU 缓存淘汰算法的。
我们需要维护一个按照访问时间从打大小有序排列的链表结构。因为缓存大小有限,当缓存空间不够,需要淘汰一个数据的时候,我们就直接将链表头部的结点删除。
当要缓存某个数据的时候,现在链表中查找这个数据。如果没有找到,则将数据放到链表的尾部;如果找到了,我们就把它移动到链表的尾部。因为查找数据需要遍历链表,所以单纯用链表实现的 LRU 缓存淘汰算法的时间复杂度很高,是 O ( n ) O(n) O(n)。
总结一下,一个缓存(cache)系统主要包含下面这几个操作:
- 往缓存中添加一个数据;
- 从缓存中删除一个数据;
- 从缓存中查找一个数据。
这三个操作都要涉及 “查找” 操作,如果单纯地采用链表的话,时间复杂度只能是
O
(
n
)
O(n)
O(n)。如果我们将散列表和链表两种数据组合使用,可以将这三个操作的时间复杂度都降低到
O
(
1
)
O(1)
O(1)。具体的结构就是下面这个样子:
我们使用双向链表存储数据,链表中的每个结点除了存储数据(data)、前驱结点(prev)、后继结点(next)之外,还新增了一个特殊的字段 hnext。这个 hnext 有什么作用呢?
因为我们的散列表是通过链表法解决冲突的,所以每个结点会在两条链中。一个链是刚刚我们提到的双向链表,另一个链是散列表中的拉链。前驱和后继指针是为了将结点串在双休链表中,hnext 指针是为了将结点串在散列表的拉链中。
了解了这个散列表和双向链表的组合存储结构之后,我们再来看,前面讲到的缓存的三个操作,是如何做到时间复杂度是 O ( 1 ) O(1) O(1)?
首先,来看如何查找一个数据。前面讲过,散列表中查找的数据的时间复杂度接近 O ( 1 ) O(1) O(1),所以通过散列表,我们可以很快地在缓存中找到一个数据。当找到数据之后,我们还需要将它移动到双向链表的尾部。
其次,来看如何删除一个数据。我们需要找到数据所在的结点,然后将结点删除。借助散列表,我们可以在 O ( 1 ) O(1) O(1) 时间复杂度里找到要删除的结点。因为我们的链表是双向链表,双向链表可以通过前驱指针 O ( 1 ) O(1) O(1) 时间复杂度获取前驱结点,所以在双向链表中,删除结点只需要 O ( 1 ) O(1) O(1) 的时间复杂度。
最后,来看如何添加一个数据。添加数据到缓存稍微有点麻烦,我们需要先看这个数据是否已经在缓存中。如果已经在其中,需要将其移动到双向链表的尾部;如果不在其中,还要看缓存有没有满。如果满了,则将双向链表头部的结点删除,然后再将数据放到链表的尾部;如果没有满,就直接将数据放到链表的尾部。
这整个过程设计的查找操作都可以通过散列表来完成。其他的操作,比如删除头结点、链表尾部插入数据等,都可以在 O ( 1 ) O(1) O(1) 的时间复杂度完成。所以,这三个操作的时间复杂度都是 O ( 1 ) O(1) O(1)。至此,我们就通过散列表和双向链表的组合使用,实现了一个高效的、支持 LRU 缓存淘汰算法的缓存系统原型。
Redis 有序集合
在跳表那一节,讲到有序集合的操作时,我稍微做了简化。实际上,在有序集合中,每个成员有两个重要的属性,key(键值)和 score(分值)。我们不仅会通过 score 来查找数据,还可以通过 key 来查找数据。
例如,用户积分排行榜这样一个功能:我们可以通过用户的 ID 来查找积分,也可以通过积分区间来查找用户 ID 或姓名信息。这里包含 ID、姓名和积分的用户信息,就是成员对象,用户 ID 就是 key,积分就是 score。
所以,如果我们细化一下 Redis 有序集合的操作,那就是下面这样:
- 添加一个成员
- 按照键值来删除一个成员对象;
- 按照键值来查找一个成员对象;
- 按照分值区间查找数据,比如查找积分在 [100, 222] 之间的成员对象;
- 按照分值从小到大排序成语变量;
如果我们仅仅按照分值将成员对象组织成跳表的结构,那按照键值来删除、查找成员对象就会很慢,解决方法与 LRU 的解决方法类似。可以在按照键值构建一个散列表,这样按照 key 来删除、查找一个成员对象的时间复杂度就变成了 O ( 1 ) O(1) O(1)。同时借助跳表,其他操作也非常高效。
实际上,Redis 有序集合的操作还有另外一类,也就是查找成员对象的排名(Rank)或者根据排名区间查找成员对象。这个功能单纯用刚刚讲的这种组合结构就无法高效实现了。这块内容,在后面的章节在讲解。
Java LinkedHashMap
如果你熟悉 Java,那你几乎天天会用到这个容器。我们之前讲过,HashMap 底层是通过散列表这种数据结构实现的。而 LinkedHashMap 前面比 HashMap 多了一个 “Linked” ,这里的 “Linked” 是不是说,LinkedHashMap 是一个通过链表法解决散列冲突的散列表呢?
实际上,LinkedHashMap 并没有那么简单,其中的 “Linked” 也不仅仅代表它是通过链表法解决散列冲突的。
先来看一段代码。你觉得这段代码会以什么样的顺序打印 3,1,5,2
这几个 key 呢?原因又是什么呢?
HashMap<Integer, Integer> map = new LinkedHashMap<>();
map.put(3,11);
map.put(1,12);
map.put(5,23);
map.put(2,22);
for(Map.entry e : map.entrySet()) {
System.out.println(e.getKey());
}
我先告诉你答案,上面的代码会按照数据插入的顺序依赖来打印,也就是说,打印店顺序是 3,1,5,2
。你有没有觉得奇怪?散列表中数据是经过散列函数打乱之后无规律存储的,这里是如何实现按照数据的插入顺序来遍历打印的呢?
LinkedHashMap 也是通过散列表和链表组合在一起实现的。实际上,它不仅支持按照插入顺序遍历数据,还支持按照顺序来遍历数据。你可以看下面这段代码:
// 10 是初始大小,0.75是装载因子,true是表示按照访问时间排序
HashMap<Integer, Integer> map = new LinkedHashMap<>(10, 0.75f, true);
map.put(3,11);
map.put(1,12);
map.put(5,23);
map.put(2,22);
map.put(3, 26);
m.get(5)
for(Map.entry e : map.entrySet()) {
System.out.println(e.getKey());
}
这段代码打印的结果是 1,2,3,5
。我来具体分析一下,为什么这段代码会按照这样顺序来打印。
每次调用 put()
函数,往 LinkedHashMap 中添加数据的时候,都会往将数据添加到链表的尾部,所以,在前四个操作完成之后,链表中的数据是下面这样的。
在第 8 行代码中,再次将键值为 3 的数据放入到 LinkedHashMap 的时候,会先查找这个键值是否已经有了,然后再将已存在的 (3,11)
删除,并将心的 (3,26)
放到链表的尾部。所以,这个时候链表的尾部。所以,这个时候链表中的数据就是下面这样的:
当第 9 行代码访问到 key 为 5 的数据时,我们将被访问的数据移动到链表的尾部。所以,第 9 行代码之后,链表的数据是这样的:
所以,最后打印出来的数据是 1,2,3,5
。从上面的分析,你有没有发现,按照访问时间排序的 LinkedHashMap 本身就是一个支持 LRU 缓存淘汰策略的缓存系统?实际上,它们两个的实现原理也是一模一样的。我也就不再啰嗦了。
现在来总结一下,实际上,LinkedHashMap 是通过双向链表和散列表这两种数据结构组合实现的。LinkedHashMap 中的 “Linked” 实际上是指的是双向链表,并非指用链表法解决散列冲突。
小结
散列表这种数据结构虽然支持非常高效的数据插入、删除、查找操作,但是散列表中的数据都是通过散列函数打乱之后无规律存储的。也就是说,它无法支持按照某种顺序快速地遍历数据。如果希望按照顺序遍历散列表中的数据,那需要将散列表中的数据拷贝到数组中,然后排序,再遍历。
因为散列表是动态数据结构,不停的有数据插入、删除,所以每当我们希望按照顺序遍历散列表中的数据时,都需要先排序,那效率势必会很低。为了解决这个问题,我们将散列表和链表(或者跳表)结合在一起使用。