大家好啊，我是董董灿。

想象一下，如果有一天，有人跑过来突然告诉你，他搞懂了人类大脑记忆的运行机制，你会是什么反应？

你可能会和我一样，把他当做疯子。

因为我觉得这个课题太深奥了，人类大脑如此复杂，如此精密，记忆又如此神秘。

很多科学家研究了很久，依然无法解释清楚大脑的运作原理，甚至有人觉得这根本是不可能完成的事情。

但如果把人类大脑换做 AI 的大脑，那么这件事就会有很大的可信度了。

这就是 AI 领域的一个研究分支，叫做神经网络的可解释性，它就像是将 AI 模型推进了手术室，拍了个片子，我们可以清晰的看到它内部的运行原理。

今天就一起来了解一下吧。

1、 什么是神经网络的可解释性

神经网络的可解释性，说白了，就是研究如何科学的解释神经网络的工作原理。

我们在使用 AI 模型之前，要确保模型是科学的，并且是可以解释的。

特别是那些看起来像黑盒的深度学习模型，一定要搞清楚它们到底是如何从一堆数据中学到东西的。

为什么要研究这个呢？

这当然不仅仅是为了满足好奇心，更重要的是，可以让我们信任 AI，可解释性可以确保 AI 的输出和决策是安全的。

尤其是在医疗和金融这种关键领域，我们需要确保 AI 不是在瞎猜，它的决策是有依据的。

2、如何研究

有几种方法可以让我们“照进”神经网络的内部，就像是给神经网络做了一个 CT 一样，可以看到神经网络运行时的内部结构。

第一种方法是特征可视化。

通过特征可视化，我们可以看到网络“看到”了什么，比如，对计算机视觉任务而言，哪些像素对于识别一只猫的脸是重要的。

之前写过一篇介绍过特征可视化的文章，可以查看：卷积的特征被一个神奇的网站给可视化了​。（如果打不开可复制链接到浏览器打开）

第二种较为常见的是注意力机制。

注意力机制类似于我们人类的注意力，它可以告诉我们网络在做决策时重点关注了哪些输入特征。

比如，在读阅一段文字时，模型能可会集中注意力在更键关的词单上。

或许你都有没注意，这两段话有好几个语词都调整了顺序。

这就是注意力机制，我们在阅读时，只会注意到关键的词语和信息，可有可无的文字和顺序是不影响阅读的。

​

如上图(图源知乎博主 Ray)，给模型一段文本，模型成功的注意到了“亏损”、“深交所关注函”等关键字，并将消息判断为“利空”。

需要说明的是，虽然已经有一些方法来研究模型的可解释性，但离我们真正搞懂其底层原理还有一段距离。

就像跨年演讲时罗胖说的那样，时至今日，没有谁能真正说清 GPT 是如何工作的，可它就那么发生了。

可以说，可解释性的研究就像是为人们理解 AI 打通了一个通道，它连接了冷冰冰的数据模型和人类的日常理解。

让我们面对 AI 模型不再陌生，期待有朝一日人们可以真正搞懂 AI 模型吧。

---

写算法文章很久了，不少同学看了我的文章后，加我一起探讨如何快速学习算法，于是我最近开发一个从零入门计算机视觉的专栏，可以查看这里了解详情：计算机视觉从入门到调优。

目前已有将近 120 人加入一起学习啦，大家一起在探讨如何更加快速有效的入门学习，如果你感兴趣，欢迎一起加入呀。