咨询公司 Protiviti 最近与一家客户公司合作，该公司遭遇了一次不寻常的攻击：一名黑客试图操纵输入该公司人工智能系统的数据。

公司领导仍在调查此次攻击，公司怀疑黑客试图扭曲人工智能系统的输出。

此类攻击并非新鲜事，但在网络安全领域，它们仍属异类。

正如软件制造商 Splunk 的“ 2024 年安全状况”报告所述：“人工智能中毒仍有可能，但尚未成为常见现象。”

然而，这种异常状态预计会发生变化，领先的安全专家预测，黑客将越来越多地瞄准人工智能系统，更具体地说，他们将试图通过破坏数据或模型本身来毒害它们。

各地的首席安全官都需要做好准备，因为各种规模和类型的组织都可能成为目标。

每家公司都会通过自己的（内部开发的）人工智能模型或通过他们使用的第三方人工智能工具接触到这种问题。

NIST 就四种类型的中毒攻击发出警告

美国国家标准与技术研究所 (NIST) 在2024 年 1 月的一篇论文中警告了未来的可能性。

研究人员写道：“投毒攻击非常强大，可能导致可用性违规或完整性违规。”

特别是，可用性中毒攻击会导致所有样本的机器学习模型无差别退化，而有针对性和后门中毒攻击则更加隐蔽，并会导致一小部分目标样本的完整性遭到破坏。

这篇论文强调了四种类型的中毒攻击：

1. 可用性中毒，“它会不加区分地影响整个机器学习模型，并从本质上对人工智能系统的用户造成拒绝服务攻击。”

2. 针对性的投毒，即黑客“针对少量目标样本诱导机器学习模型的预测发生变化”。

3. 后门毒害，其中“可以通过在训练时在图像子集中添加小补丁触发器并将其标签更改为目标类别来毒害图像分类器”，虽然“大多数后门毒害攻击都是为计算机视觉应用设计的，但这种攻击媒介在具有不同数据模式的其他应用领域中也很有效，例如音频、NLP 和网络安全设置。”

4. 模型中毒是一种“试图直接修改训练过的机器学习模型，向模型注入恶意功能”的攻击。

NIST 和安全领导人指出，除了中毒之外，还有许多其他针对人工智能的攻击类型，例如隐私泄露以及直接和间接的提示注入。

在企业中部署 AI 会引入一个非常不同的新攻击面。

我们已经看到学者和其他研究人员展示的漏洞，试图指出潜在的问题，但这项技术部署得越多，黑客攻击它的价值就越大，这就是为什么我们要深入研究更具后果性的漏洞。

我们已经开始看到这一现象正在以越来越快的速度发展。

人工智能中毒攻击可能来自组织内部或外部

安全专家表示，投毒攻击可能由内部人员和外部黑客发起——就像更传统的网络安全攻击类型一样。

与传统攻击类型的另一个相似之处是，“民族国家可能是这里最大的风险之一，因为他们有能力和资源投资这种类型的攻击。

安全专家表示，不良分子发动毒药攻击的动机也很常见，他们表示黑客针对人工智能系统的原因可能与他们发动其他类型的网络攻击的原因相同，例如造成混乱或损害组织。有人说黑客还可能使用毒药攻击来获取专有数据或获取金钱。

有人会利用这一点敲诈勒索吗？当然，如果黑客可以通过投毒来破坏系统，他们就可以利用这一点；他们可以说，‘我们毒害了模型，现在你必须付钱给我们才能获得我们所做事情的信息。

主要目标可能是制造人工智能系统的科技公司

尽管这样的动机意味着任何使用人工智能的组织都可能成为受害者，预计黑客更有可能瞄准制造和训练人工智能系统的科技公司。

首席信息安全官们不应该松一口气，因为如果他们使用供应商提供的损坏的 AI 系统，他们的组织可能会受到这些攻击的影响。

最近的一个案例说明了此类场景可能造成深远危害。

科技公司 JFrog 的研究人员发现，大约 100 个恶意机器学习模型已上传到公共 AI 模型库Hugging Face 。

研究人员在2024 年 2 月的一篇博客中表示，恶意 ML 模型可能会让威胁行为者在加载模型后将恶意代码注入用户的机器，这种情况可能会迅速危及无数用户环境。

专家表示，更多类似事件即将发生。

这是一种新兴风险，一旦人工智能技术扩展，中毒威胁将变得更加明显。

现在就制定应对人工智能中毒的措施，将有助于预防未来的危机

许多组织并没有做好检测和应对投毒攻击的准备。由于人工智能发展速度太快，我们距离真正强大的安全性还有很长的路要走。

以 Protiviti 客户遭受疑似投毒攻击为例，指出该公司员工之所以能识别出可能的攻击，是因为“数据未同步，当他们深入研究时，发现了问题所在。该公司之所以没有发现问题，是因为安全工具的花哨功能失效了。

很多公司都没有设置检测和应对此类攻击的措施。

ISC2 是一家为网络安全专业人士提供培训和认证的非营利组织，其 2024 年 2 月的一份报告揭示了首席安全官是否为未来做好了准备。

报告发现，超过 1,100 名受访者中，75％ 表示他们中度至极度担心人工智能会被用于网络攻击或其他恶意活动，其中深度伪造、虚假信息和社会工程是网络专业人士最担心的三大问题。

尽管人们对此高度担忧，但只有 60% 的人表示，他们有信心带领组织安全采用 AI。

此外，41% 的人表示，他们在保护 AI 和 ML 技术方面几乎没有或根本没有专业知识。与此同时，只有 27% 的人表示，他们的组织制定了有关 AI 安全和道德使用的正式政策。

一般的首席安全官并不擅长 AI 开发，也没有将 AI 技能作为核心竞争力。

即使他们是人工智能专家，他们也可能会面临判断黑客是否成功发起投毒攻击的挑战。

人工智能系统所有者和用户很难发现黑客，因为黑客可以打开和关闭行为而不被发现。而且一旦模型中毒，他们就无法查看源代码并找到触发因素。

生成式人工智能的不确定性对检测和响应提出了进一步的挑战。

防御对人工智能系统的威胁

正如安全领域长期以来的情况一样，没有任何一种工具能够阻止投毒攻击。

专家表示，同样，长期的安全实践可以降低风险、检测异常并加快恢复速度。

建议采用多层防御策略，包括强大的访问和身份管理程序、安全信息和事件管理(SIEM) 系统以及异常检测工具。

因此，您会知道是否有人访问过您的系统。

强大的数据治理实践以及对人工智能工具的监控和监督也是必须的，这样你就知道什么不是真实的，什么不好。

良好的供应商管理也很重要，以确保提供人工智能工具的供应商采取应有的措施，防止他们的产品成为中毒攻击的受害者。

首席安全官应该与其他高管一起识别和了解与他们正在使用的 AI 工具相关的风险（包括中毒攻击），制定策略来减轻过高的风险，并明确他们愿意接受的剩余风险。

首席安全官及其组织还应该了解他们使用的模型的来源和数据的谱系。

NIST 对抗机器学习论文提供了更详细的缓解策略以及有关中毒和其他类型攻击的更多细节。

一些安全领导者建议首席安全官也为他们的团队增加专门接受过 AI 安全培训的人才。

这项工作需要高级数据科学家、懂得如何评估训练集和模型的团队；这不是一般的 SOC 团队能做到的，首席人工智能官和首席安全官应该共同制定治理和安全计划。

我们今天所采取的典型保护措施还不够，但正确的方法不是避免人工智能，而是了解风险、与合适的人合作、正确评估风险并采取措施将其降至最低。

对抗性机器学习：攻击和缓解的分类和术语

这份 NIST 可信和负责任的 AI 报告制定了对抗性机器学习 (AML) 领域的概念分类法并定义了术语。该分类法建立在对 AML 文献的调查基础之上，并按概念层次结构排列，其中包括主要类型的 ML 方法和攻击的生命周期阶段、攻击者的目标和目的以及攻击者的能力和学习过程知识。

该报告还提供了相应的方法来减轻和管理攻击的后果，并指出了在 AI 系统生命周期中需要考虑的相关开放挑战。报告中使用的术语与 AML 文献一致，并辅以词汇表，该词汇表定义了与 AI 系统安全相关的关键术语，旨在帮助非专业读者。总之，分类法和术语旨在通过建立对快速发展的 AML 格局的共同语言和理解，为评估和管理 AI 系统安全性的其他标准和未来实践指南提供信息。