Elastic Agent：可灵活地在任何地方发送和处理任何数据

作者：来自 Elastic Nima Rezainia

Elastic Agent 是一款功能强大且用途广泛的工具，可用于从各种数据源（包括自定义用户应用程序）收集日志和指标。现在，Elastic Agent 提供了无与伦比的灵活性，可以将数据准确地传递到需要的地方，从而通过单个代理实现安全性和可观察性用例。本博客介绍了最新版本的 Elastic Agent 中提供的功能以及如何定制它们以适合你的特定用例。

多种目的地

从 Elastic Agent 8.16 开始，借助 “output per integration - 按集成输出” 功能，用户可以将来自任何支持的数据源的数据发送到任何支持的目的地。无论是直接发送到区域或特定业务线的 Elasticsearch 集群，还是通过 Logstash 和 Kafka 等中间件，该流程都能无缝扩展到最大的企业。部署单一代理来收集可观测性和安全数据变得前所未有的简单。

“output per integration - 按集成输出” 是指在 Elastic Agent 中能够为每个集成配置不同的数据输出。这意味着从各种来源收集的数据可以根据每个集成的配置被定向到特定的目的地。例如，一类集成的数据（如系统日志）可以直接发送到针对日志优化的 Elasticsearch 集群，而另一类数据（如来自云服务的指标）可以通过 Kafka 路由到不同的分析平台。

此功能在需要将数据分布到多个系统或区域的复杂环境中提供了极大的灵活性。它使企业能够更精细地控制数据路由，从而根据特定的业务或合规要求定制数据流。

使用 Logstash 进行可选处理

通过对每个集成的输出进行细粒度控制，将 Logstash 纳入你的采集架构不再是一个全有或全无的决定。你现在可以根据需要为特定数据源包含 Logstash，以实现编辑、丰富和其他 Logstash 独有的功能。

例如，如果你在 Elastic 集成中使用新的 Logstash 集成过滤器，你现在可以只发送你希望 Logstash 处理的数据，同时将其余数据源直接发送到 Elasticsearch。减少 Logstash 上的工作负载可以减少采集占用空间，减少管理节点的时间，并提高可靠性。

使用 Kafka 进行动态转发

Kafka 是一种分布式、高弹性且可扩展的流媒体平台，是一种非常流行的实时流数据处理工具。Kafka 的生产者和消费者模型允许操作员为日志和指标、安全性和可观察性或敏感和机密信息设置不同的管道。Elastic Agents 非常适合此模型，能够写入特定的 Kafka 主题（topic），并且随着 8.16 的发布，Elastic Agents 可以动态选择 Kafka 主题。

企业策略管理

企业用户依赖 Elastic Agent 作为集中定义的数据采集平台。借助 Fleet 策略管理，用户可以通过代理策略同时管理数千个代理的代理设置。无论你是根据属性（例如地理位置、数据治理法规、平台类型，甚至部门线）组织主机，代理策略都可以实现简单且可扩展的管理。

从 8.16 开始，代理策略中现在提供按集成输出（output per integration），使管理员能够操作全局 Elastic Agent 控制平面，同时将关键的可观察性和安全性数据准确地传递到其所属的位置。

示例：降低云出口费用

考虑一个多云企业，其应用程序部署在冗余区域和云提供商中。按区域管理采集配置会增加管理开销，但全局管理采集意味着在数据穿越区域和提供商时产生昂贵的云出口费用。

通过按集成输出，你可以维护全局或特定于云的 Elastic Agent 控制平面，同时将数据保持在区域或区域本地，从而节省数十万美元的云网络成本。

示例：数据主权和 GDPR

假设一家企业需要确保在某个区域收集的数据保留在该区域内（数据主权）。Fleet 通过允许操作员通过代理策略快速将输出分配给一组 Elastic Agent，从而简化了流程。

Elastic Agent 还会从部署它们的平台收集主机日志和指标，从而提供有关主机健康状况的宝贵见解。大多数运营商倾向于将监控数据与用户数据分开存储，这可以增强弹性并方便从单个集群进行故障排除。Fleet 通过允许运营商在其代理策略中为这些数据分配特定的监控集群来实现这一点。

将上下文插入数据

在许多部署中，用户需要将本地上下文添加到其平台中采集的数据。这种嵌入的上下文可帮助操作员唯一地识别数据，以便进一步处理、路由，甚至创建特定于上下文的仪表板，例如针对特定租户的仪表板。

随着 8.15 版本的发布，Elastic Agent 用户现在可以在策略级别添加自定义 [field:value] 对。这些自定义字段嵌入到该策略下代理收集的所有数据中。随着日志和事件在管道中移动，添加的字段可用于有效地增强或路由数据。你可以在我们的文档中找到有关此功能的更多信息。

额外的灵活性

总之，Elastic Agent 8.16 在数据收集和输出管理方面提供了无与伦比的灵活性，使用户可以将数据准确地发送到需要的地方。凭借每个集成的输出、可选的 Logstash 处理、动态 Kafka 转发和增强的企业策略管理等功能，Elastic Agent 简化了复杂的数据工作流程，同时优化了资源使用。无论是降低云出口费用还是确保遵守数据主权法规，Elastic Agent 都使开发人员和运营商能够构建可扩展、有弹性且高效的数据管道，使其成为现代企业的宝贵工具。