Gartner发布2024年网络安全预测一：人工智能与网络安全将颠覆转化为机遇

Gartner 预测人工智能将以积极的方式持久地破坏网络安全，但也会造成许多短期的幻灭。安全和风险管理领导者需要接受 2023 年只是生成式 AI 的开始，并为其演变做好准备。

主要发现

生成式人工智能 (GenAI) 是一系列公认的颠覆性技术中的最新技术，有望满足组织通过任务自动化大幅提高所有团队生产力指标的持续愿望。
如今，安全产品中内置的大多数GenAI功能都专注于向现有产品添加自然语言界面，以提高效率和可用性，但完全自动化的承诺开始出现。过去尝试完全自动化复杂的安全活动（包括使用机器学习技术）很少能完全成功，并且在今天可能会造成浪费的干扰，并带来短期的幻灭。
Gen AI正处于炒作的顶峰，根据当今的技术状况做出了非常激进的预测。这导致了不切实际的颠覆性主张，但也忽略了 GenAI 进化的后续步骤，例如多模式模型和复合人工智能。
网络安全供应商对生成式人工智能的最初尝试只能让人们对该技术的前景有一个有限的了解，并且可能并不是未来发展的最佳迹象。

建议

负责制定网络安全路线图的安全和风险管理 (SRM) 领导者应：

构建一种长期方法，在 GenAI 功能和产品增强安全工作流程时逐步集成它们。从应用程序安全和安全运营开始。
评估效率提升与 GenAI 实施成本，并优化检测和生产力指标以考虑新的 GenAI 网络安全功能。
优先投资人工智能增强劳动力，而不仅仅是任务自动化。为 GenAI 带来的短期支出增加和长期技能要求变化做好准备。监控 GenAI 带来的攻击成功率的潜在变化。
在评估安全领域大规模采用 GenAI 时，考虑潜在的隐私挑战并平衡预期收益与累积成本相关的风险。

战略规划假设

到 2028 年，威胁检测和事件响应中的多代理人工智能将从人工智能实施的 5% 上升到 70%，主要是增强而不是取代员工。

到 2025 年，生成式 AI 将导致保护其安全所需的网络安全资源激增，导致应用程序和数据安全方面的支出增加超过 15%。

到 2026 年，40% 的开发组织将默认使用 AST 供应商基于人工智能的不安全代码自动修复功能，而 2023 年这一比例还不到 5%。

到 2026 年，使用人工智能生成的深度伪造的人脸生物识别攻击将意味着 30% 的企业将不再认为此类身份验证和身份验证解决方案是孤立可靠的。

到 2028 年，生成增强技术的采用将缩小技能差距，从而消除 50% 的入门级网络安全职位对专业教育的需求。

分析

需要知道什么

这项研究强调了 Gartner 预测与安全和风险管理领导者的相关性，他们必须应对 GenAI 正在破坏网络安全的激进主张。过去的经验引发了人们的怀疑，因为之前的“人工智能清洗”导致了昂贵的投资却没有达到预期的效果。

Gartner针对安全领导者当前关注的领域提出了建议：

管理托管和嵌入式 GenAI 应用程序的使用。
使用人工智能信任、风险和安全管理 (AI TRiSM) 技术，将应用程序安全实践更新为人工智能应用程序。
评估网络安全提供商发布的第一波 GenAI 公告，并制定计划，在新功能和产品更加成熟时集成它们。
承认恶意行为者也会使用 GenAI，并为威胁环境中不可预测的变化做好准备。

过度炒作会损害我们对时间和平衡的看法，但路线图规划要求网络安全领导者考虑所有可能性，而没有强大的事实基础来平衡网络安全现实与 GenAI 希望或承诺（见图1 ）。

图 1：平衡网络安全现实与 GenAI 希望

网络安全行业长期以来一直痴迷于全自动解决方案。围绕 GenAI 的炒作已经导致了不切实际的承诺，可能会损害未来功能和产品的长期改进的可信度。

2023 年是 GenAI 发布之年，2024 年应该是最小可行产品之年；2025 年可能是 GenAI 集成到安全工作流程中并提供真正价值的元年。

正如《2023 年生成式人工智能技术成熟度曲线》中所述，“多项创新需要 5 到 10 年的时间才能成为主流采用。” “自主代理”就是这种情况，Gartner 认为，专注于人类增强的网络安全领导者将比那些过快地采用承诺完全自动化的解决方案的网络安全领导者取得更好的结果。

在短期内，我们将通过多模态GenAI实验观察网络安全用例的扩展（即从文本内容之外的内容中学习），并将提高我们衡量生产力收益的能力。

战略规划假设：到 2028 年，威胁检测和事件响应中的多代理人工智能将从人工智能实施的 5% 上升到 70%，主要是增强而不是取代员工。

主要发现：

GenAI 第一波网络安全公告中，超过三分之一与安全运营活动相关。备受推崇的功能范围从基本的交互式帮助提示到旨在成为事件响应和态势评估的主要界面的新的专用产品公告。
威胁检测、告警分类和事件响应的完全自动化是许多威胁检测、调查和响应 (TDIR) 计划的“登月”目标。
历史经常重演，GenAI 也引发了对安全运营同样过度乐观的希望，类似于五年多前无监督机器学习在威胁检测方面的表现。
相反，成熟度较高的团队可能会基于“SOC 助手”提示形式的大型语言模型 ( LLM )的早期且不成熟的实现，而轻率地放弃生成式网络安全 AI 。

近期标志：

到 2024 年，只有不到三分之一的生成式网络安全人工智能实施将提高企业的安全运营生产力，从而产生更多支出。

到 2026 年， “行动变压器”等新方法的出现，与更成熟的GenAI技术相结合，将推动半自主平台的发展，从而显着增强网络安全团队执行的任务。

市场影响：

即使对于规模较大且资金充足的组织来说，建立强大的安全运营也是很困难的。如果网络安全团队将时间投入到无法实现自动化承诺的工具上，那么选择正确的工具、服务和内部员工组合就会受到影响。

当用于威胁检测的无监督机器学习的实施有望消除误报并实现自动响应时，我们已经观察到了这一点。这些工具花了数年时间才成熟，安全运营团队也花了数年时间来调整它们并将自动阻止范围缩小到它起作用的少数用例。随着今天的LLM以及未来的自主代理、多模态和基础模型的出现，组织面临着类似的挑战。早期对GenAI的出色表现将期望从渐进式改进和团队扩充转移到自动化、技能要求和员工与工具平衡方面不太可能发生重大转变。

Gartner 预计 GenAI 的幻想会在短期内破灭，尤其是在 2024 年，提高安全运营生产力的外部压力将与成熟度低的功能和分散的工作流程发生冲突。

GenAI 集成准备不足的症状包括：

缺乏衡量 GenAI 优势的相关指标，加上 GenAI 附加组件的价格过高。
在安全运营团队内或与第三方安全运营提供商合作时，将人工智能助手集成到现有协作工作流程中存在困难。
快速增长的“即时疲劳”：太多的工具提供交互式界面来查询威胁和事件。

随着时间的推移，新的人工智能方法，比如与其他相关的非人工智能技术相结合，可能会让安全运营更接近针对已识别用例的自主决策。支持这一承诺的新兴人工智能技术包括：

多代理系统（MAS）：由多个独立但交互的代理组成的人工智能系统类型。
动作变压器：从人类行为中学习的模型。
自主代理：可以根据LLM配方采取行动的自我提示代理。

尽管完全自动化响应和自我修复组织的神话可能永远不会真正变成现实，但 Gartner 认为，其他技术与多代理方法的结合将对安全运营和总体安全产生重大影响。旨在增强人类任务并提高人类调查精度和速度的部署将比驱动完全自主响应的单一技术人工智能分析更有效，例如在可预见的未来进行自动遏制。

建议：

通过引入业务价值驱动的人工智能评估框架，衡量对速度、准确性和生产力等有形指标的影响，解决安全产品中新发布的 GenAI 功能的混乱问题。
运行 GenAI 试点主要用于本质上不是实时的事件响应和暴露管理用例。设定切合实际的短期目标，例如减少误报或将员工招聘范围扩大到专业程度稍低的人员。
尽可能保护安全运营团队免受安全团队外部的委托，以完全自动化响应和漏洞处理过程。当稍后需要实施有前途的 GenAI 技术时，这将有助于避免阻力。
清楚安全提供商使用 GenAI 作为声称的差异化因素来推广导致供应商锁定的大型平台的策略。
不要忽视提供商评估要求，以应对隐私、版权、可追溯性和可解释性挑战。

战略规划假设：到 2025 年，生成式 AI 将导致保护其安全所需的网络安全资源激增，导致应用程序和数据安全方面的支出增加超过 15%。

主要发现：

Gartner 研究表明，大多数企业尚未正式制定可接受的 GenAI 使用策略，因此安全和风险管理者尚无建立技术控制的框架。
将大型语言模型（LLM）与其他类型的模型（例如企业应用中的基础模型）集成，会带来三类新风险：内容异常、数据保护和人工智能应用安全。
近90%的企业仍在研究或试点GenAI，其中大多数尚未落实AI TRiSM（信任风险和安全管理）技术控制或政策。
托管 GenAI 模型的供应商并不总是提供一套完整的控制措施来减轻这些风险。相反，用户需要获取增强托管供应商有限控制的解决方案。
IT 领导者必须依赖托管 LLM 供应商来保护其数据，但无法验证其安全和隐私控制。

市场影响：

使用第三方托管的LLM 和 GenAI 模型可以带来许多好处，但用户还必须应对新的独特风险，需要在三个主要类别中采取新的安全实践：

内容异常检测

o 不可接受或恶意使用

o 通过提示或其他方式传输不受管理的企业内容，导致机密数据输入受到损害

o 幻觉或不准确、非法、侵犯版权以及其他不需要或非预期的输出，这些输出会损害企业决策或可能导致品牌受损

数据保护

o 托管供应商环境中内容和用户数据的数据泄露、完整性和机密性受损

o 无法在外部托管环境中管理隐私和数据保护策略，甚至无法将服务提供商作为数据处理者

o 由于第三方模型的黑匣子性质，并且几乎不可能按照隐私立法要求正式与这些模型提供商签订合同作为数据处理者，因此难以进行隐私影响评估并遵守各种地区法规

人工智能应用安全

o 对抗性提示攻击，包括业务逻辑滥用以及直接和间接提示注入

o 矢量数据库攻击

o 黑客访问模型状态和参数

我们最近对 700 多名网络研讨会与会者进行了调查，了解他们最关心的 GenAI 风险，验证了这些风险类别，并强调隐私和数据丢失是IT 领导者面临的首要风险。

当使用外部托管的 LLM 和其他 GenAI 模型时，这些风险会加剧，因为企业缺乏直接控制其应用程序流程以及数据处理和存储的能力。然而，风险仍然存在于企业托管和直接控制的本地模型中，尤其是在缺乏安全和风险控制的情况下。

用户在人工智能应用程序和模型运行时面临这三类风险。图 2 显示了这三种风险如何影响 AI 模型开发和部署、运行时的 AI 模型以及 IT 供应链中 AI 风险的影响。这包括训练数据、第三方模型、代码和库以及提示和模型集成。

这些新的攻击面将促使企业安全部门花费时间和金钱来实施 GenAI 安全和风险管理控制，因此到 2025 年，应用程序和数据安全支出将至少增加15%。

图 2：整个 AI 生命周期中的生成型 AI 攻击面

Gartner 预计，许多企业最初将获得通过异常检测或安全 AI 应用程序来降低输入/输出风险的解决方案，以了解企业对 GenAI 应用程序和模型的使用情况。这包括使用现成的应用程序，例如 ChatGPT 或通过其他集成点（例如插件、提示或 API）进行交互。对于组织来说，加强与 GenAI 的企业交互是首要任务，这些产品可以提供这些交互的良好地图。地图建立后，可以逐步部署缓解风险和安全威胁的核心功能。这一切都对安全人员配置和预算产生重大影响；因此我们预测安全预算将会增加。

建议：

在企业内部和整个企业内进行组织以管理新的 GenAI 风险和安全威胁。一旦组织起来，为企业建立可接受的 GenAI 使用政策，并部分使用AI TRiSM 技术持续实施这些政策。
设置概念验证来测试新兴的 AI TRiSM 产品，专门针对三个新风险和安全类别的 GenAI，以增强您的安全控制，并在其按要求执行后将其应用于生产应用程序。
使用内容异常检测产品来减轻输入和输出风险，以执行可接受的使用策略，并防止不需要或其他非法的模型完成和响应，从而损害组织的决策、安全和安保。
进行用户意识培训，提醒用户在将 GenAI 产品纳入业务工作流程之前始终验证其输出的准确性。
评估 AI 应用安全产品的使用情况，以保护组织免受黑客利用新的 GenAI 威胁向量损害组织及其资产的侵害。
继续使用已知的安全控制来保护敏感信息、应用程序堆栈和资产，但认识到它们不能减轻法学硕士特有的风险，例如响应中不准确、煽动性或受版权保护的输出。

战略规划假设：到 2026 年，40% 的开发组织将默认使用 AST 供应商基于人工智能的不安全代码自动修复功能，而 2023 年这一比例还不到 5%。

主要发现：

尽管 80% 提供应用程序安全测试 (AST) 的供应商会以某种形式根据安全问题建议修复代码（自动修复），但只有不到 5% 的开发组织使用它，部分原因是它提供的解决方案通常只是示例，而不是实际的代码修复。
开发人员抱怨代码安全工具（AST 工具）建议的自动修复通常会对代码的其他方面（例如性能和可靠性）产生不利的副作用。因为大多数开发人员对这些代码方面都有 KPI，而对安全性的 KPI 不太严格，所以他们对这些建议持负面看法。
开发人员可能会因开发环境中的插件数量而感到负担过重——每个插件都针对特定参数提供建议（例如，代码质量评估、性能和优化建议等）。集成开发环境 ( IDE)的任何新增功能都需要根据多个自动更正工具的输入综合建议。

近期标志：

虽然许多基于人工智能的安全代码助手正在计划或正在开发中，但它们在 2024 年被现实世界的生产团队采用，而不是试点或概念验证 ( POC )，将是一个领先指标它们比现有系统具有优势。

市场影响：

目前，应用程序安全测试市场以少数用于确定代码安全风险要素的核心工具为中心（例如，SAST、DAST、IAST、SCA、IaC等）。尽管它们每天与开发人员打交道，但它们主要是安全工具，旨在供与开发人员合作的安全专业人员使用。它们通常使用大量技术安全术语，并假设开发人员了解数据，并且能够采取行动来降低安全风险。然而，开发人员接受的安全培训与现实世界的代码安全问题之间通常存在相当大的差距，这些问题通常与他们所教授的示例不同。

标准 AST 工具的修复指导通常采用自动更正的形式，其工作方式类似于拼写检查器（例如，该行的格式是否正确）？对开发人员的指导通常仅针对安全性，并且仅针对有问题的线路。它无法在更大的上下文中提供对代码不同方面的更全面的分析。这会产生相当通用的建议，通常反映 OWASP 前 10 名作为修复的基础。

大型语言模型 (LLM) 的优势在于，它们不仅能够更轻松地处理安全性、质量和可靠性等多种代码指标，而且向开发人员呈现数据和建议的方式也非常灵活。法学硕士有望将安全术语转换为更易于理解的格式，从而更好地理解问题并更有效地解决问题。当前一代的代码安全人工智能为开发人员提供了几种不同的解决漏洞的建议，让开发人员负责选择最适合应用程序的修复类型，从而保留“拥有你的代码”的理念。这有几个优点：

人工智能和人类一起工作通常比任何一方单独工作效果更好。人工智能助手提供了更广泛（并且可能更深入）的漏洞安全态势视图，而人类则了解应用程序的上下文、目标和工作流程。人工智能助手可以更好地选择可能的补救措施，同时牢记应用程序的功能。
通过向开发人员提供多种选项，他们可以更轻松地识别和过滤人工智能助手的错误识别/幻觉。
AST 工具提供的自动修复选项都没有有效地包含性能、代码质量、可靠性等参数，这些参数对于开发团队来说都很重要，并且与安全结果密切相关。新的基于人工智能的代码助手可以优化安全性之外的多个变量，从而根据开发 KPI 为开发人员提供更多动力。

建议：

大多数企业不应该使用ChatGPT 等通用 LLM 来进行代码生成、代码安全扫描或安全代码审查，因为非安全专用工具的错误率较高。相反，依靠提供企业级安全和治理控制的工具来帮助开发人员完成安全等技术任务。
试用不超过两到三个不同的人工智能安全代码助手来比较和对比他们的功能。尽管产品最近已开始商用，但要成为通用工具，市场还有很长的路要走。当前一代在不同领域都有优点和缺点，因此让开发团队对其进行测试以确定对组织最有效的方法。
保持现有的开发人员体验对于成功采用任何以开发人员为中心的工具至关重要。工作流程、体验或测试的变化会损害开发人员的“肌肉记忆”并产生摩擦，这会让开发人员感到沮丧，从而避免使用这些工具。
请记住，这些工具使用LLM，需要定期重新培训。选择供应商时，请特别询问隐私、数据保留和再培训详细信息，以保护知识产权。询问有关知识产权丢失、某些代码的许可问题或意外重复使用其他公司知识产权的赔偿问题。
人工智能编码助手正迅速成为开发人员以更快的速度编写更好的代码的流行方式。请务必对AI 生成的代码运行静态分析 (SAST) 和软件构成分析 (SCA )。这将有助于确保代码质量、保护知识产权并减少人工智能错误和虚假陈述。

战略规划假设：到 2026 年，使用人工智能生成的深度伪造对人脸生物识别技术进行攻击将意味着 30% 的企业将不再认为这种身份验证和身份验证解决方案是孤立可靠的。

主要发现：

在十多年的时间里，可用于生成合成图像的人工智能领域出现了几个拐点。这些功能是通过易于访问的工具提供的，这些工具使相对不熟练的用户能够创建真实人脸的合成图像（“深度伪造”），这对于威胁行为者滥用颠覆生物识别过程的后果是显而易见的。
身份验证通常由用户在移动设备上进行，包括拍摄带照片的身份证件照片和自己的自拍照，然后进行生物识别比较。移动应用程序开发已经民主化，所有人都可以轻松使用先进的开发工具。这使得不良行为者能够找到攻击这些基于移动设备的身份验证流程的新方法。
如今，使用人脸生物识别技术的身份验证和身份验证过程依赖于演示攻击检测 (PAD) 来评估用户的活跃度。当前定义和评估 PAD 机制的标准和测试流程不包括使用当今可以创建的复杂的深度伪造面部图像的数字注入攻击。
与身份验证供应商的非正式讨论表明，目前检测到的欺诈性身份展示中约有 15% 涉及深度伪造。当然，未被检测到的攻击数量是一个未知因素。大多数供应商认为演示攻击仍然是最常见的攻击媒介，但注入攻击在 2023 年前 9 个月增加了 200% 以上。

市场影响：

Gartner 目前追踪市场上70 多家身份验证供应商。这些供应商通过用户实时拍摄政府颁发的带照片身份证件的照片来验证身份。然后使用计算机视觉技术评估其真实性，有时还由人类分析师进行增强。然后系统会提示用户拍摄一张脸部自拍照。首先通过 PAD 评估其活性，然后与身份证件中的照片进行生物识别比较。身份验证现在是一系列组织的关键业务安全控制，并且不应与不与身份绑定的设备上生物识别技术的使用相混淆。

破坏面部生物识别技术的尝试通常集中在演示攻击上，攻击者戴着乳胶面具或使用指向设备摄像头拍摄被冒充者的图片或视频（原始内容或合成深度伪造内容）。大多数供应商都专注于此类演示攻击方法，因为这是当前活体检测标准和测试的重点。

然而，攻击者不仅仅关注演示攻击，还利用仿真和应用程序开发工具的多样性和可访问性来发起更复杂的数字注入攻击。这些包括绕过设备上的摄像头并将深度伪造图像直接注入传感器和验证器之间的路径。专门用于注入深度伪造的工具包可供所有人免费使用。

防止此类攻击需要结合 PAD 以及注入攻击检测 (IAD) 和图像检查。主动 PAD（“活体检测”）技术，例如要求用户眨眼、转头或重复随机短语，正在逐渐减少使用，因为这些工具可以实时创建合成图像来模仿攻击者的头部运动。鉴于攻击者可能不知道图像的哪些特征用于评估活性，被动活性检测技术提供了更大的弹性。然而，随着深度伪造领域的快速发展，不应假设诸如透视分析、照明反射或血流显微检查等被动检测技术的寿命会很长。一些供应商还使用GenAI 创建合成数据，以训练他们的系统更好地检测深度伪造品。

在一个包括许多较小的区域供应商和利基参与者的拥挤市场中，并非所有供应商都能够在这场快速发展的军备竞赛中与攻击者保持平起平坐。客户将会流失，而那些能够保持领先地位并展现出功效的供应商将获得收益。其他生物识别领域也存在类似的挑战，例如，合成语音的创建已经对当今语音生物识别过程的完整性带来了问题。

建议：

青睐那些能够证明自己拥有超越当前标准的功能和策略，并且正在跟踪、分类和量化他们今天经历的新颖攻击的供应商。
通过与不仅专注于 PAD（采用被动活体检测，而不是主动检测）的供应商合作，建立最低的控制基线，而且还专门投资于使用 IAD 与图像检测相结合来缓解最新的基于深度伪造的威胁。
通过添加额外的风险和识别信号（例如设备识别和行为分析），进一步增加检测对身份验证流程的攻击的机会。对于身份验证用例，请始终使用面部生物识别之外的其他信号或凭据。
通过接受某些攻击可能会成功的事实并投资于帐户活动的验证后监控来提高弹性，以帮助检测可能已击败身份验证或身份验证过程但可能通过后续异常行为暴露自己的不良行为者。

战略规划假设：到2028 年，生成增强技术的采用将缩小技能差距，从而消除 50% 的入门级网络安全职位对专业教育的需求。

主要发现：

当前网络安全工作者的技术技能差距已经扩大到一个鸿沟。如今人才缺口为 340 万个，同比增长26%，而且没有迹象表明这一趋势会放缓。
尽管许多入门级网络安全工作者可能不需要大学学位，但这通常会被替代证书所取代，例如行业认证或训练营。
当人工智能功能根据用户任务进行部署，以提高工作人员的能力超出普通人所能达到的水平时，这被称为“增强”。GenAI 的发展催生了生成增强功能，可以用来支持特定的任务和角色。

近期标志：

通用增强功能，例如集成到 Mandiant 威胁情报中的微软的 Security Copilot 或谷歌的 Duet AI，将在补充知识工作者的工作流程方面取得有限的进展，但采用和使用将受到其对话/聊天界面的限制。
一个新的开发公司行业将会出现，专注于为投资Azure OpenAI、AWS Bedrock、Google 的 Vertex AI 或NVIDIA NeMo 等产品的组织构建专门的增强功能。

市场影响：

当一个行业可用的工具发生根本性变化时，紧随其后的是该行业的资源和运营方式也发生同样根本性的转变。GenAI增强功能的出现将改变组织雇用网络安全人员的方式，以寻找合适的能力和合适的教育。

增强功能是基于人工智能的代理，根据用户任务进行部署，以提高员工的能力，使其超出普通人的能力。生成式增强，顾名思义，重点是在增强中使用 GenAI 功能，充当代表用户的代理。

如今，Gartner 发现日常使用的办公生产力工具中出现了许多通用增强功能。对于安全从业者来说，这种模式不断重复，微软和谷歌等主流平台都提供了增强功能。尽管其中大多数仍然是对话式的，但它们的下一次迭代将“融入”从业者的工作流程中。与此同时，我们看到在组织内部开发的、首先专注于特定任务的专用增强功能的兴起。稍后，这些特定于任务的增强功能将被合并起来，以支持角色并促进这些角色的招聘（见图 3）。

图 3：生成增强工作流程与传统流程的图示

在不久的将来，这些增强功能将通过观察用户不仅变得特定于任务或角色，而且还被训练为特定于用户来开始学习。

这将改变我们的教学方式、招聘方式以及我们在网络安全领域的专业化方式，因为该行业通过生成增强获得了急需的推动力。

建议：

对于内部企业用例，投资于支持用户工作的生成增强功能，而不是需要用户停下来聊天的对话机器人。这使组织能够对生成能力的使用方式进行更精细的控制，并获得更好的投资回报。例如，增强的安全运营工具可以根据各种监控源和正确接地的LLM自动生成有针对性的上下文剧本和威胁模型，从而改善事件响应。
在任务和角色级别跟踪本土和供应商提供的增强功能，以更好地衡量所需的入门级网络安全人员技能的演变，并与人力资源合作伙伴进行相应的协调。
利用Gartner 提供的工具包（请参阅识别关键网络安全角色的相邻人才）来识别一些更关键的网络安全角色的相邻人才。这些前景将成为增强的理想候选者。