概述
基础篇的时候,我们学习了图的两种搜索算法,深度优先搜索和广度优先搜索。这两种算法主要是针对无权图的搜索算法。针对有权图,也就是图中的每一条变都有一个权重,我们该如何计算两点之间的最短路径(经过的边的权重和最小)呢?本章,我们就从地图软件的路线规划问题讲起,带你看看常用的最短距离 算法(Shortest Path Algorithm)。
像 Google 地图、百度地图 这样的地图软件,我想你应该经常使用吧?如果想从家开到公司,你只需要输入起始、结束地址,地图就会给你规划一条最优出行线路。这里的最优,有很多种定义,比如最短路线、最少用时路线、最少红绿灯路线等。作为一名软件开发工程师,你是否思考过,地图的最优路线是如何计算出来的吗?底层依赖了什么算法呢?
–
算法解析
刚刚提到的最优问题包含三个:最短路线、最少用时和最少红绿灯。先解决最简单的,最短路线。
解决软件开发中的实际问题,最重要的一点就是建模,也就是将复杂的场景抽象成具体的数据结构。针对这个问题,我们该如何抽象成数据结构呢?
之前提到过,图这种数据结构的表达能力很强,显然,把地图抽象成图最合适不过了。我们把每个岔路口看做一个顶点,岔路口与岔路口之间的的路看做一条边,路的长度就是权重。如果路是单行道,我们就在两点之间画一条有向边;如果是双行道,我们就在两个顶点画两条方向不同的边。这样,整个地图就被抽象成一个有向带权图。
具体的代码实现,放在了下面。于是,我们要求解的问题,在一个有向带权图中,求两个顶点的最短路径。
public class Graph { // 有向带权图的邻接表表示
private int v; // 顶点个数
private LinkedList<Edge> adj[]; // 邻接表
public Graph(int v) {
this.v = v;
adj = new LinkedList[v];
for (int i = 0; i < adj.length; i++) {
adj[i] = new LinkedList<>();
}
}
public void addEdge(int s, int t, int w) { // 添加一条边
adj[s].add(new Edge(s, t, w));
}
private class Edge {
public int sid; // 边的起始顶点编号
public int tid; // 边的终止顶点编号
public int w; // 权重
public Edge(int sid, int tid, int w) {
this.sid = sid;
this.tid = tid;
this.w= w;
}
}
// 下面这个是为了dijkstra实现用的
private class Vertex {
public int id; // 顶点编号
public int dist; // 从起始顶点到这个顶点的距离
public Vertex(int id, int dist) {
this.id = id;
this.dist = dist;
}
}
}
要想解决这个问题,有一个非常经典的算法,最短路径算法,更加准确的说,是单源最短路径算法(一个顶点到另一个顶点)。提到最短路径算法,最出名的莫过于 Dijkstra 算法了。所以,我们现在来看,Dijkstra 算法是如何工作的。
这个算法的原理稍微有点复杂,单纯的文字描述,不是很好懂。所以,还是结合代码来讲解。
public void dijkstra(int s, int t) { // 从顶点s到顶点t的最短路径
int[] predecessor = new int[this.v]; // 用来还原最短路径
Vertex[] vertexes = new Vertex[this.v];
for (int i = 0; i < this.v; i++) {
vertexes[i] = new Vertex(i, Integer.MAX_VALUE);
}
PriorityQueue queue = new PriorityQueue(this.v); //小顶堆
boolean[] inQueue = new boolean[this.v]; // 标记是否进入过队列
vertexes[s].dist = 0;
queue.add(vertexes[s]);
inQueue[s] = true;
while (!queue.isEmpty()) {
Vertex minVertex = queue.poll(); // 获取对顶元素并删除
if (minVertex.id == t) break; // 最短路径产生了
for (int i = 0; i < adj[minVertex.id].size(); i++) {
Edge e = adj[minVertex.id].get(i); // 取出一条minVertex相连的边
Vertex nextVertex = vertexes[e.tid]; // minVertex->nextVertex
if (minVertex.dist + e.w < nextVertex.dist) { // 更新next的dist
nextVertex.dist = minVertex.dist + e.w;
predecessor[nextVertex.id] = minVertex.id;
if (inQueue[nextVertex.id] == true) {
queue.update(nextVertex); // 更新队列中的dist
} else {
queue.add(nextVertex);
inQueue[nextVertex.id] = true;
}
}
}
}
// 输出最短路径
System.out.print(s);
print(s, t, predecessor);
}
private void print(int s, int t, int[] predecessor) {
if (s == t) return;
print(s, predecessor[s], predecessor);
System.out.print("->" + t);
}
// 因为Java提供的优先级队列,没有暴露更新数据的接口,所以,需要重新数显一个
private class PriorityQueue { //根据Vertex.dist构建小顶堆
private Vertex[] nodes;
private int count;
public PriorityQueue(int v) {
this.nodes = new Vertex[v];
this.count = v;
}
public Vertex poll() { /**留给你去实现*/ }
public void add(Vertex vertex) { /**留给你去实现*/ }
// 更新节点的值,并且从下往上堆化,更新符合堆顶定义。时间复杂度O(logn)
public void update(Vertex vertex) { /**留给你去实现*/ }
public boolean isEmpty() { /**留给你去实现*/ }
}
我们用 Vertex 数组,记录从起始顶点到每个顶点的距离(dist)。起初,我们把所有顶点的 dist 都初始化为无穷大。我们把其实顶点的 dist 值初始化为 0,然后将其放到优先级队列中。
我们从优先级队列中取出 dist 最小的顶点 minVertex,然后考察这个顶点可达的所有顶点(代码中的 nextVertex)。如果 minVertex 的 dist 加上 minVertex 与 nextVertex 之间边的权重小于 nextVertex 当前的 dist 值,也就是说,存在一条更短的路径,它经过 minVertex 到达 nextVertex。那我们就把 nextVertex 的 dist 更新为 minVertex 的 dist 加上 w。然后,我们把 nextVertex 加入到优先级队列中。重复这个过程,直到找到终止顶点或者队列为空。
以上就是 Dijkstra 算法的核心逻辑。此外,代码中还有两个额外的变量,predecessor 和 inQueue 数组。
- predecessor 是为了还原最短路径,它记录每个顶点的前驱顶点。最后,我们通过递归的方式,将这个路径打印出来。
- inQueue 数组是为了避免将一个顶点多次添加到优先队列中。我们更新了某个顶点的 dist 值之后,如果这个顶点已经在优先级队列中了,就不要再将它重复添加进去。
理解了 Dijkstra 算法,Dijkstra 算法的时间复杂度是多少呢?
在刚刚的代码中,最复杂的就是 while 循环嵌套 for 循环那部分代码了。while 循环最多会执行 V 次(V 表示顶点的个数),而内部的 for 循环的执行次数不确定,跟每个顶点的相邻边的个数有关,我们分别记作 E0,E1,E02, …, E(V-1)。如果我们把这 V 个顶点的边都加起来,最大也不会超过图中所有边的个数 E(E 表示边的个数)。
for 循环内部的代码设计优先级队列取数据、往优先级队列中添加数据、更新优先级队列中的数据,这样三个主要的操作。我们知道,优先级队列是用堆来实现的,堆中的这几个操作,时间复杂度都是 O ( l o g V ) O(logV) O(logV) (堆中元素的个数不会超过顶点的个数 V)。
所以,综合这两部分,再利用乘法规则,整个代码的时间复杂度就是 O ( E ∗ l o g V ) O(E * logV) O(E∗logV)。
弄懂了 Dijkstra 算法,我们再来回答之前的问题,如何计算出最优出行路线?
从理论上讲,用 Dijkstra 算法可以计算两点之间的最短路径。但是,你有没有想过,对于超级大地图来说,岔路口、道路非常多,对应到图这种数据结构来说,就有非常多的顶点和边。如果为了计算两点之间的最短距离,在一个超级大的地图上动用 Dijkstra 算法,遍历所有的顶点和边,显然会非常耗时。那我们有没有什么优化的方法呢?
做工程不像做理论,一定要给出最优解。理论上算法再好,如果执行效率太低,也无法应用到实际的工程中。对于软件开发工程师来说,我们经常要根据问题的实际背景,对解决方案权衡取舍。类似出行路线这种工程上的问题,我们没有必要非得求出绝对最优解。很多时候,为了兼顾执行效率,我们只需要计算出一个可行的次优解就可以了。
有了这个原则,你能想出刚刚那个问题的优化方案吗?
虽然地图很大,但是两点之间的最短路径或者说比较好的出行路径,并不会很 “发散”,只会出现在两个点之间和两点附近的区块内。所以我们可以在整个大地图上,画出一个小的区域,这个小区块恰好可以覆盖住两个点,但又不会很大。我们只需要在这个小区块内部运行 Dijkstra 算法,这样就可以避免遍历整个大图,也就大大提高了执行效率。
不过,你可能会说,如果两点距离比较远,从北京海定区某个地点,到上海浦东的某个地点,那上面的这种处理方法,显然就不能工作了,比较覆盖北京和上海的区块并不小。
我给你点提示,你可以现在打开地图 APP,缩小放大一下地图,看下地图上的路线有什么变化,然后再思考,这个问题该怎么解决。
对于这样两点之间距离较远的路线规划,我们可以把背景海淀区看作一个顶点,把上海浦东看作一个顶点,先规划大的出行路线。比如,如何从北京到上海,必须要经过某几个顶点,或者几条干道,然后再细化每个结点的路线。
这样,最短路径问题就解决了。我们再来看另外两个问题,最少时间和最少红绿灯。
前面讲最短路径的时候,每条边的权重是路的长度。在计算最少时间的时候,算法还是不变的,我们只需要把权重,从路的长度编程经过这段路所需的时间。不过,这个时间会根据拥堵情况时刻变化。如何计算车通过一段路的时间呢?这是一个蛮有意思的问题,你可以自己思考下。
每经过一条边,就要经过一个红绿灯。关于最少红绿灯的出现方案,实际上,我们只需要把每条边的权值改为 1 即可,算法还是不变,可以继续使用前面讲的 Dijkstra 算法。不过,边的权值为 1,也就相当于无权图了,我们还可以使用之前讲过的广度优先搜索算法。因为广度优先搜索算法计算出来的两点之间的路径,就是两点的最短路径。
不过,这里给出的方案都非常粗糙,只是为了给你展示,如何结合实际的场景,灵活地应用算法,让算法为我们所用,真实的地图软件的路径规划,要比这个复杂很多。而且,比如 Dijkstra 算法,地图软件用的更多的是类似 A* 的启发式搜索算法,不过它也是在 Dijkstra 算法上的优化罢了。
总结引申
本章,我们学习了一种非常重要的图算法,Dijkstra 最短路径算法。实际上,最短路径算法还有很多,比如 Bellford 算法、Floyd 算法等等。如果感兴趣,你可以自己去研究。
关于 Dijkstra 算法,只讲了原理和代码实现。对于正确性,并没有去证明。之所以这么做是因为证明过程设计比较复杂度的数学推导。这个并不是我们的重点,你只要掌握这个算法的思路就可以了。
这些算法实现思路非常经典,掌握了这些思路,我们可以拿来指导、解决其他问题。比如 Dijkstra 这个算法的核心思想,就可以拿来解决下面这个看似完全不相关的问题。这个问题我之前遇到的真实问题,为了在较短的篇幅里把问题介绍情况,我对背景做了一些简化。
我们有一个翻译系统,只能针对单个单词来做翻译。如果要翻译一整个句子,我们需要将句子拆成一个一个的单词,再丢给翻译系统。针对每个单词,翻译系统会返回一组可选的翻译列表,并且针对每个翻译打一个分,表示这个翻译的可信程度。
针对每个单词,我们从可选列表中,选择其中一个翻译,组合起来就是整个句子的翻译。每个单词的翻译的得分之和,就是整个句子的翻译得分。随意搭配单词的翻译,会得到一个句子的不同翻译。针对整个句子,我们希望计算出得分最高的前 k 个翻译结果,你会怎么编程来实现呢?
当然,最简单的办法就是回溯算法,穷举所有可能得组合情况,然后选出得分最高的前 k 个翻译结果。但是,这样做的时间复杂度会比较高,是 O ( n m ) O(n^m) O(nm)。其中,m 表示平均每个单词的可选翻译个数,n 表示一个句子中包含多少个单词。这个解决方案,你可以当做回溯算法的练习题,自己编程实现一下,我就不多说了。
实际上,这个问题可以借助 Dijkstra 算法的核心思想,非常高效地解决。每个单词的可选翻译是按照分数从大到小排列的,所以 a 0 b 0 c 0 a_0b_0c_0 a0b0c0 肯定是得分最高的组合结果。我们把 a 0 b 0 c 0 a_0b_0c_0 a0b0c0 及得分作为一个对象,放入到优先级队列中。
我们每次从优先级队列中取出一个得分最高的组合,并基于这个组合进行扩展。扩展的策略是每个单词的翻译分别替换成下一个单词的翻译。比如 a 0 b 0 c 0 a_0b_0c_0 a0b0c0 扩展后,会得到三个组合 a 1 b 0 c 0 a_1b_0c_0 a1b0c0、 a 0 b 1 c 0 a_0b_1c_0 a0b1c0、 a 0 b 0 c 1 a_0b_0c_1 a0b0c1。我们把扩展之后的组合,加到优先级队列中。重复这个过程,直到获取到 k 个翻译组合或者队列为空。
我们来看看这种实现思路的复杂度是多少的?
假设句子包含 n 个单词,每个单词平均有 m 个可选的翻译,求得分最高的前 k 个组合结果。每次一个组合出队,就对应着一个组合结果,我们希望得到 k 个,那就对应着 k 次出队操作。每次有一个组合队列出队,就有 n 个组合入队。优先级队列中出队和入队的时间复杂度都是 O ( l o g x ) O(logx) O(logx),x 表示队列中组合的个数。所以,总的时间复杂度就是 O ( k ∗ n ∗ l o g x ) O(k * n * logx) O(k∗n∗logx)。那 x 到底是多少呢?
k 次出入队列,队列中的总数不过超过 k*n,也就是说,出队、入队操作的时间复杂度是 O ( l o g ( k ∗ n ) ) O(log(k * n)) O(log(k∗n))。所以,总的时间复杂度就是 O ( k ∗ n ∗ l o g ( k ∗ n ) ) O(k*n*log(k*n)) O(k∗n∗log(k∗n)),比之前指数级时间复杂度降低了很多。