追溯历史:SIEM 中的生成式人工智能革命

作者:来自 Elastic Mike Nichols, Mike Paquette

网络安全领域仿佛是现实世界的一个映射,安全运营中心(security operation center - SOC)就像是你的数字警察局。网络安全分析师就像是警察,他们的工作是阻止网络犯罪分子对组织发起攻击,或者在他们尝试攻击时将其阻止。当发生攻击时,类似于数字侦探的事件响应人员会从多个不同的来源收集线索,以确定事件的顺序和细节,然后制定补救计划。为了实现这一目标,团队需要将许多(有时是数十个)产品结合起来,以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。

在网络安全的早期,分析师们意识到,集中证据可以简化数字调查。否则,他们将花费大部分时间尝试从那些前述的产品中分别收集所需的数据 —— 请求访问日志文件、搜集受影响系统的信息,然后手动将这些不同的数据联系起来。

我记得在我从事取证工作的时候,使用过一个名为 “log2timeline” 的工具,将数据按时间序列格式组织起来,还可以根据活动类型(如文件创建、登录等)进行颜色编码。早期的 SANS 培训课程教授了这个工具和时间线分析的强大功能。这实际上是一个 Excel 宏,可以将数据整理成一个 “超级” 时间线。这是革命性的,提供了一种组织如此多数据的简单方法,但它的生成需要很长时间。

现在,想象一下,如果侦探们必须等待几天才能进入犯罪现场,或者在他们找到合适的人给予权限之前,现场的证据对他们是禁止接触的。这就是网络安全分析师的生活。

在获取证据有限的情况下解决犯罪是一个失败的提议

在我的 SOC 职业生涯中,我经常感到惊讶的是,高级分析师花费在分析工作上的时间非常少。他们大部分的时间都花在管理数据上,比如追踪数据来源和筛选相关数据的日志。

在 21 世纪初,出现了用于为安全团队集中 “安全日志” 的产品。这项技术很快成为 SOC 中的一项基本技术,并且(经过几次命名的演变后)最终被称为安全信息与事件管理(security information and event management - SIEM)。这种产品承诺消除我们数据周围的迷雾,为团队提供一个中央存储和分析组织安全相关信息的地方。在本系列的第一部分中,我们将介绍 SIEM 演变的前三个主要阶段。

SIEM 二十年来的演变

SEM/SIM 的诞生(第0代)—— 21世纪初

集中收集和合规性

这一初期的安全日志收集被定义为 SEM(security event management - 安全事件管理)或 SIM(security information management - 安全信息管理)。它收集了系统活动的数字记录(日志数据)以及事件数据的组合。这对分析师来说是一个游戏规则改变者,因为他们现在控制着一个包含了解决数字犯罪所需数据的系统。基本上,安全团队现在拥有了自己的数据孤岛。这种产品革命主要是由于收集数据的需求驱动的,比如维护取证日志,并能向审计员和调查员证明确实收集了这些日志。这种合规性用例推动了集中安全事件收集的采用。

这种新型产品带来了挑战。SOC 现在需要安全工程师来管理大量数据。他们还需要预算来收集和存储这些信息,因为他们正在将数据从众多其他系统复制到一个单一的集中系统中。但好处是显而易见的:通过减少从整个企业收集和排序数据所花费的时间,加速检测和补救措施。一旦收到攻击通知,事件响应者几乎可以立即开始工作。

从合规到威胁检测 —— 创建 SIEM 1.0

检测建立在收集的基础上

下一个进步是在集中的 SIEM(security information and event management - 安全信息与事件管理)层应用检测逻辑。SIEM 是 SEM 中的事件数据和 SIM 中的信息数据的组合。SEM/SIM 的合规性和证据收集能力很强,但在近十年的数据收集和审查后,分析师意识到他们可以通过集中信息做得更多。SIEM 不仅仅是从其他系统整合警报并提供一个集中的日志和事件记录系统,现在还可以跨多个数据源进行分析。检测工程师可以从一个新的角度操作 —— 发现在仅对一个数据源进行分析的点解决方案中可能被忽略的威胁,例如你的防病毒软件或网络防火墙。

这种演变带来了很多挑战。除了更需要专业的专业知识和预先构建的规则外,SIEM 还集中收集了来自众多点解决方案的警报,每个解决方案本身都产生了很多误报,加剧了问题。SIEM 分析师必须审查集体网络和桌面警报。这导致了 SIEM 分析师经常问的一个问题:“我从哪里开始?”再加上 SIEM 本身的一整套新的检测警报。你的 SIEM 现在包含了网络中所有其他系统警报的总和,加上通常生成的警报数量。不用说,SIEM 产生了很多警报。

机器学习的承诺

机器学习(machine learning - ML)承诺以较少的维护需求改善未知威胁的检测。其目标是识别异常行为,而不是依靠硬编码的规则来查找每一个威胁。

在机器学习出现之前,检测工程师必须分析已经发生的攻击或可能发生的攻击(源自第一方研究),并为这种潜在的事件编写检测规则。例如,如果发现了一种利用发送给 Windows 进程的某些特定参数的攻击,人们可以编写一个规则来寻找执行时调用这些参数。但是,对手只需更改参数的顺序或以不同方式调用它们,就可以避免这种脆弱的检测。而且,如果这些参数有合法用途,可能需要花费几天(甚至几周)的时间来调整,以从检测逻辑中去除这些误报。

机器学习的承诺是极大地减少这一挑战。具体来说,ML 在两个方面有所帮助:

  • “无监督” 的基于ML的异常检测:分析师只需要决定在哪些领域寻找未知行为,如登录、进程执行和访问 S3 存储桶。然后,ML 引擎学习这些领域的正常行为,并标记出异常情况。SANS DFIR 在 2014 年制作了一个著名的海报,上面写着 “Know Abnormal…Find Evil. - 了解异常...发现恶意”。

  • 训练有素或 “监督” 的 ML 模型:人类分析师可以看到某些事物,并且他们的大脑可以联系起来,这看起来与之前观察到的攻击有些类似。这些专家能够了解攻击的发生方式,并将这些知识应用于寻找遵循类似进展的未知攻击。传统上,他们在威胁狩猎中使用这种专业知识来帮助发现安全产品可能错过的威胁。现在,有了机器学习,他们能够制定训练有素的模型检测,具有从以前的攻击中学习并找到以类似方式进行攻击的新攻击的能力。专注于行为 —— 而不仅仅是原子指标,如哈希值、文件中的字符串和 URL —— 允许检测具有更长的使用寿命和更高的攻击检测率。

2014 年 SANS DFIR 海报

异常活动的识别,或称为异常分析,使安全团队能够快速识别 “奇怪” 的活动并进行调查。奇怪可能是指某个用户在奇怪的时间从奇怪的地点登录,有时这可能是一名窃取了凭据以访问网络的对手。但有时候,这可能是正在度假的 Sally 在凌晨2点登录来解决网络问题。虽然误报增加了,但发现全新、以前没有发现的威胁的能力足以使人们对处理误报的额外帮助感到满意。用户和实体行为分析(UEBA)时代已经开始,现代 SIEM 系统由基于规则和机器学习的检测技术驱动。

SIEM 2.0 — 编排和自动化

从被动到主动的转变

正如我们所见,SIEM 曾经主要用于历史问题报告,而不是真正的端到端解决方案。SIEM 能够提醒你存在问题,但之后的清理工作需要你自行处理。这一情况随着 SOAR(security orchestration, automation, and response - 安全编排、自动化和响应)的引入而改变。这一新的产品线是为了填补 SIEM 中的功能缺口而创建的。它们提供了一个地方,用于收集和组织分析师希望执行的步骤以缓解攻击,并提供连接器连接到其它系统的生态系统以启动来自 SOAR 系统的响应。在我们的警察部门类比中,SOAR 就像是指挥其他系统执行命令的交通警察。它们是连接 SIEM 发现攻击和其他系统响应行动的粘合剂。

就像 UEBA 一样,从中央位置组织响应计划并启动行动的能力已成为现代 SIEM 的期望功能。现在,在 SIEM 2.0 的生命周期中,预期 SIEM 能够跨组织大规模收集数据(第 0 代),利用基于规则和基于机器学习的技术检测点解决方案可能错过的新威胁并在不同系统间进行关联(SIEM 1.0),并允许规划和执行响应计划(2.0)。实际上,一个新的缩写词 —— TDIR(threat detection, investigation, and response - 威胁检测、调查和响应)—— 被创造出来,以捕捉处理攻击全范围的能力。

SIEM 的第三代 — 现代安全分析

在网络安全中的生成式人工智能革命

尽管未能解决一个基本挑战 —— 网络安全领域的严重技能短缺,但 SIEM 已经成为 SOC 威胁检测、分析和调查的基础。一项由 IBM 委托进行的、由 Morning Consult 完成的 2023 年 3 月的研究发现,SOC 团队成员 “只有在一个典型工作日内完成了他们应该审查的警报的一半”。这是一个 50% 的盲点。数十年来的渐进改进(简化工作流程、自动化常规步骤、指导初级分析师等)已经有所帮助 —— 但还不够。随着消费者可访问的具有网络安全领域专业知识的生成式人工智能模型的出现,情况正在迅速改变。

这是技术第一次从高级分析师那里学习,并自动帮助初级成员应用这些知识。生成式人工智能现在帮助安全从业者制定特定于组织的应对计划、优先处理威胁、编写和策划检测、调试问题,以及处理其他常规且耗时的任务。生成式人工智能承诺将自动化反馈循环反馈到 SOC,实现每天不断的改进。我们现在可以通过这种自动化反馈和学习来闭环 OODA 循环。

由于大型语言模型的性质(生成式人工智能背后的科学),我们现在终于可以利用技术来跨越大量数据点进行推理,就像人类一样 —— 但规模更大、速度更快、理解更广泛。此外,用户可以使用自然语言与大型语言模型进行交互,而不是使用代码或数学,进一步降低了采用的障碍。以前从未有过分析师能够用自然语言提问,比如 “我的数据中是否包含任何可能对我的组织构成风险的活动?” 这是 SIEM 中可以嵌入的功能的能力上的前所未有的飞跃。生成式人工智能已成为一个强大而准确的数字 SOC 助手。

在安全运营工作流程中利用人工智能革命的产品将推出 SIEM 3.0。

了解 SIEM 演变的更多信息

本博文回顾了 SIEM 的演进历程,从集中收集数据到在组织层面检测威胁,再到自动化和编排以加速问题的解决。现在,在 SIEM 技术的第三阶段,我们终于着手解决网络安全领域的严重技能短缺。

在本系列的第二部分中,我们将讨论 Elastic Security 从 TDIR(威胁检测、调查和响应)发展为全球首个、也是唯一的 AI 驱动安全分析产品的演变过程。与此同时,你可以通过阅读这本电子书《网络安全的生成式人工智能:一个乐观但不确定的未来》来了解安全专业人员对生成式人工智能出现的反应。敬请期待第二部分!

本文中描述的任何功能或功能的发布和时间均由 Elastic 自行决定。目前不可用的任何功能或功能可能无法按时或根本无法交付。

在本博文中,我们可能使用或参考了第三方生成式人工智能工具,这些工具由各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权,对这些工具的内容、操作或使用不承担任何责任或义务,也不对你使用此类工具可能导致的任何损失或损害承担责任。在使用涉及个人、敏感或机密信息的 AI 工具时,请谨慎行事。你提交的任何数据可能用于 AI 培训或其他目的。我们不能保证你提供的信息将被保密和安全地保存。在使用任何生成式人工智能工具之前,请熟悉其隐私实践和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、标志或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标志或注册商标。

原文: Tracing history: The generative AI revolution in SIEM | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/560162.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Web】DASCTF X GFCTF 2024|四月开启第一局 题解

目录 EasySignin cool_index web1234 web4打破防了🤮,应该很接近解出来了,感兴趣的师傅续上吧 EasySignin 先随便注册个账号登录,然后拿bp抓包改密码(username改成admin) 然后admin / 1234567登录 康好康的图片功能可以打SS…

ros仿真启动小龟

1.启动RosMaster(管理Ros中各个节点的“大管家”,每次启动Ros时需要首先启动RosMaster) roscorefangfang-inspiron-5580:~/ros2/download/rosdistro$ roscore ... logging to /home/fang/.ros/log/6ec2d790-fe1d-11ee-aba8-1c1bb5cdec7c/ros…

MySQL-实验-单表、多表数据查询和嵌套查询

目录 0.简单子查询 (1)带比较运算符的子查询 (2)关键字子查询 1.多表查询 3.子查询 4.多表子查询 0.简单子查询 (1)带比较运算符的子查询 在右侧编辑器补充代码,查询大于所有平均年龄的员…

10 SQL进阶 -- 综合练习题 -- 10道经典SQL题目,配套数据与解答

1. 创建表结构和导入数据 1.1 新建数据库 1.2 执行建表语句 点击下方链接直接下载创建数据表脚本:http://tianchi-media.oss-cn-beijing.aliyuncs.com/dragonball/SQL/create_table.sql 执行建表语句执行成功查看创建的表1.3 导入数据 点击下方链接直接下载插入数据脚本:htt…

VBA脚本终章编译器崩溃

一、介绍 本篇文章为VBA脚本隐藏技术的最后一篇,将介绍如何在保证VBA脚本正常执行的情况下,使分析人员无法打开编译器。 那么为什么需要分析人员无法打开编译器呢? 首先,我们需要引入一个知识点。 在上篇《VBA隐藏技术stompin…

笔记本wifi连接外网 网线连接办公内网 设置路由实现内外网可同时访问

工作提供的办公网络是企业内网,接上企业内网网线后 通过无线在连接手机wifi ,会发现内外网无法同时访问,我自己电脑是接上内网网线 也是只能访问外网,除非把外网无线暂时关闭,才可以访问内网 频繁切换很不方便 1.查看外网无线 wifi网卡信息 IPv4 地址: 192.168.18.114 IP…

数据结构学习记录

数据结构 数组 & 链表 相连性 | 指向性 数组可以迅速定位到数组中某一个节点的位置 链表则需要通过前一个元素指向下一个元素,需要前后依赖顺序查找,效率较低 实现链表 // head > node1 > node2 > ... > nullclass Node {constructo…

AI原生时代,操作系统为何是创新之源?

一直以来,操作系统都是软件行业皇冠上的明珠。 从上世纪40、50年代,汇编语言和汇编器实现软件管理硬件,操作系统的雏形出现;到60年代,高级编程语言和编译器诞生,开发者通过操作系统用更接近人的表达方式去…

面向对象(一)

一.类与对象的定义 (1)类(设计图):是对象共同特征的描述: (2)对象:是真实存在的具体东西。 在Java中,必须先设计类,才能获取对象。 二.如何定义类 public class 类名{1.成员变量(代表属性,一般是名词) 2.成员方法(代表行为,一般是动词) 3.构造器 4.代码块 5.内部…

Liunx入门学习 之 基础操作指令讲解(小白必看)

股票的规律找到了,不是涨就是跌 一、Linux下基本指令 1.ls 指令 2.pwd 命令 3.cd 指令 4.touch 指令 5.mkdir 指令 6.rmdir指令 && rm 指令 7.man 指令 8.cp 指令 9.mv指令 10.cat 11.more 指令 12.less 指令 13.head 指令 14.tail 指令 15…

论文解读-Contiguitas: The Pursuit of Physical Memory Contiguity in Datacenters

研究背景: 在内存容量飞速增长的背景下,使用小页管理内存会带来巨大的内存管理开销(地址转换开销高)。近些年来不少研究尝试给应用分配大段连续区域,或者改善页表结构(如使用hash结构的页表)以降…

质谱原理与仪器2-笔记

质谱原理与仪器2-笔记 常见电离源电子轰击电离源(EI)碎片峰的产生典型的EI质谱图 化学电离源(CI)快原子轰击源(FAB)基体辅助激光解析电离(MALDI)典型的MALDI质谱图 大气压电离源(API)电喷雾离子源(ESI)大气压化学电离源(APCI)APCI的正负离子模式 大气压光电离源(APPI) 常见电离…

玄子Share-计算机网络参考模型

玄子Share-计算机网络参考模型 分层思想 利用七层参考模型,便于在网络通信过程中,快速的分析问题,定位问题并解决问题 将复杂的流程分解为几个功能相对单一的子过程 整个流程更加清晰,复杂问题简单化 更容易发现问题并针对性的…

线上频繁fullgc问题-SpringActuator的坑

整体复盘 一个不算普通的周五中午,同事收到了大量了cpu异常的报警。根据报警表现和通过arthas查看,很明显的问题就是内存不足,疯狂无效gc。而且结合arthas和gc日志查看,老年代打满了,gc不了一点。既然问题是内存问题&…

Python练习03

题目 解题思路 Demo58 通过字符串切片来进行反转操作 def _reverse():"""这是一个反转整数的函数"""num input("请输入想要反转的整数")print(num[::-1]) 运行结果 Demo61 首先制作一个判断边长的函数,通过三角形两边…

又成长了,异常掉电踩到了MySQL主从同步的坑!

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜&am…

Google Earth Engine 洪水制图 - 使用 Sentinel-1 SAR GRD

Sentinel-1 提供从具有双极化功能的 C 波段合成孔径雷达 (SAR) 设备获得的信息。该数据包括地面范围检测 (GRD) 场景,这些场景已通过 Sentinel-1 工具箱进行处理,以创建经过校准和正射校正的产品。该集合每天都会更新,新获得的资产会在可用后两天内添加。 该集合包含所有 G…

《王者荣耀》Hello Kitty 小兵皮肤完整设置指南

王者荣耀与三丽鸥的联动活动上线了 Hello Kitty 小兵皮肤,让我们的峡谷小兵们也能穿上漂亮的衣服啦!这款皮肤极具卡哇伊风格,引起了许多玩家的关注。许多小伙伴都想知道如何使用这款 Hello Kitty 小兵皮肤,今天小编将为大家整理出…

STC单片机与串口触摸屏通讯程序

/***串口1切换通讯测试,单片机发送数据给触摸屏***/ /***切换到3.0 3.1发送数据到串口通信软件 ***/ /***设置温度 加热时间读写EEPROM正确 ***/ #include <REG52.H> //2023 3 5 L330 CODE2667 #include <intrin…

使用JDK自带工具进行JVM内存分析之旅

进行jvm内存分析可以排查存在和潜在的问题。 通过借助jdk自带的常用工具&#xff0c;可以分析大概可能的问题定位以及确定优化方向。 JVM内存分析有很多好处。 内存泄漏排查&#xff1a;JVM 内存泄漏是指应用程序中的对象占用的内存无法被垃圾回收器释放&#xff0c;导致内存…