Beats 和 Elastic Agent 功能编辑

Elastic 提供两种主要方式将数据发送到 Elasticsearch

  • Beats 是轻量级数据传送器,可将运营数据发送到 Elasticsearch。Elastic 为不同类型的数据(例如日志、指标和正常运行时间)提供单独的 Beats。根据您要收集的数据,您可能需要在单个主机上安装多个传送器。
  • Elastic Agent 是用于日志、指标、安全数据和威胁防护的单一代理。Elastic Agent 可以通过两种不同的模式进行部署

    • 由 Fleet 管理 — Elastic Agent 策略和生命周期由 Kibana 中的 Fleet 应用集中管理。“集成”应用还允许您集中添加与其他流行服务和系统的集成。这是推荐给大多数用户的选项。
    • 独立模式 — 所有策略都以 YAML 文件的形式手动应用于 Elastic Agent。这适用于更高级的用户。有关更多信息,请参阅安装独立 Elastic Agent

您使用的方法取决于您的用例、您需要的功能以及您是否要集中管理您的代理。

Beats 和 Elastic Agent 都可以将数据直接发送到 Elasticsearch 或通过 Logstash 发送,您可以在其中进一步处理和增强数据,然后再在 Kibana 中对其进行可视化。

本文总结了在添加新的 Elastic Agent 或用 Elastic Agent 替换当前的 Beats 之前您需要注意的功能。从 7.14.0 版本开始,Elastic Agent 正式发布 (GA)。

在 Elastic Agent 和 Beats 之间进行选择编辑

Elastic Agent 是一个单一二进制文件,旨在提供当今各种 Beats 所提供的相同功能。但是,在我们努力实现功能对等的过程中,一些功能差距正在得到解决。

以下步骤将帮助您确定 Elastic Agent 是否可以支持您的用例

  1. 确定您需要的集成是否在 Elastic Agent 上受支持并且正式发布 (GA)。要了解集成是否为 GA,请参阅集成快速参考表
  2. 如果集成可用,请检查支持的输出以查看是否也支持所需的输出。
  3. 查看功能比较以确定您的部署所需的功能是否受支持。Elastic Agent 应支持 Beats 上可用的大多数功能,并在每个版本中进行更新。

如果您对所有三个步骤都感到满意,则 Elastic Agent 适用于您的部署。但是,如果任何步骤未通过您的评估,则您应该继续使用 Beats,并查看未来的更新或在讨论论坛中联系我们。

支持的输入编辑

对于由 Fleet 集中管理的 Elastic Agent,数据收集得到了进一步简化,并由集成定义。在此模型中,对输入的决定取决于您要从中收集数据的集成。各种输入的配置细节的复杂性由 Fleet 集中驱动,特别是由集成驱动。

要了解集成是否为 GA,请参阅集成快速参考表

支持的输出编辑

下表显示了 Elastic Agent 在 8.14.3 中支持的输出

Elastic Defend 和 APM Server 具有不同的输出矩阵。

输出 Beats Fleet 管理的 Elastic Agent 独立 Elastic Agent

Elasticsearch Service

yes

yes

yes

Elasticsearch

yes

yes

yes

Logstash

yes

yes

yes

Kafka

yes

yes

yes

远程 Elasticsearch

yes

yes

yes

Redis

yes

no

no

文件

yes

no

no

控制台

yes

no

no

支持的配置编辑

Beats 配置 Elastic Agent 支持

模块

通过集成支持。

输入设置覆盖

不可配置。设置为默认值。

常规设置

这些全局设置中的许多现在都是代理的内部设置,为了正常操作,不应修改。

项目路径

Elastic Agent 配置这些路径以提供更简单、更精简的配置体验。

外部配置文件加载

配置通过策略分发。

实时重新加载

与配置文件重新加载相关。

输出

通过 Fleet 配置。请参阅支持的输出

SSL

支持

索引生命周期管理

默认情况下启用,尽管 Agent 使用数据流

Elasticsearch 索引模板加载

不再适用

Kibana 端点

新的 Elastic Agent 工作流不需要此功能。

Kibana 仪表板加载

新的 Elastic Agent 工作流不需要此功能。

处理器

可以在集成级别定义处理器。目前正在考虑在策略级别配置全局处理器。

自动发现

自动发现通过动态输入实现。Elastic Agent 不支持基于提示的自动发现。

内部队列

Fleet 管理的 Elastic Agent 和独立 Elastic Agent 都支持最终用户配置内部内存队列。两者都不支持最终用户配置内部磁盘队列。

负载均衡输出主机

在 Fleet UI 中,您可以添加 YAML 设置以配置每种输出类型的多个主机,从而实现负载均衡。

日志记录

支持

HTTP 端点

支持

正则表达式

支持

功能比较编辑

下表显示了 Beats 和 Elastic Agent 在 8.14.3 中支持的功能比较

项目 Beats Fleet 管理的 Elastic Agent 独立 Elastic Agent 描述

适用于所有用例的单一代理

no

yes

yes

Elastic Agent 提供日志、指标等。对于这些用例,您需要安装多个 Beats。

从 Web UI 或 API 安装集成

no

yes

yes

Elastic Agent 集成可以使用方便的 Web UI 或 API 安装,但 Beats 模块使用 CLI 安装。这将安装 Elasticsearch 资源(例如索引模板和摄取管道)以及 Kibana 资源(例如仪表板)。

从 Web UI 或 API 配置

no

yes

是 (可选)

Fleet 管理的 Elastic Agent 集成可以在 Web UI 或 API 中配置。独立 Elastic Agent 可以使用 Web UI、API 或 YAML。Beats 只能通过 YAML 文件进行配置。

中央、远程代理策略管理

no

yes

no

Elastic Agent 策略可以通过 Fleet 集中管理。您必须自己或使用第三方解决方案来管理 Beats 配置。

中央、远程代理二进制升级

no

yes

no

Elastic Agent 可以通过 Fleet 远程升级。您必须自己或使用第三方解决方案来升级 Beats。

为单个集成或模块添加 Kibana 和 Elasticsearch 资源

no

yes

yes

Elastic Agent 集成允许您一次为单个集成添加 Kibana 和 Elasticsearch 资源。Beats 会一次为所有模块安装数百个资源。

自动生成的 Elasticsearch API 密钥

no

yes

no

Fleet 可以为每个 Elastic Agent 自动生成权限有限的 API 密钥,并且可以单独吊销。独立 Elastic Agent 和 Beats 要求您创建和管理凭据,并且用户经常在主机之间共享它们。

自动生成最小的 Elasticsearch 权限

no

yes

no

Fleet 可以根据运行的输入自动为 Elastic Agent 提供最小的输出权限。使用独立 Elastic Agent 和 Beats 时,用户通常会赋予过大的权限,因为它更方便。

数据流支持

yes

yes

yes

Beats(从 8.0 版本开始默认)和 Elastic Agent 都使用数据流,它具有更简单的索引生命周期管理和数据流命名方案

变量和输入条件

no

是 (有限)

yes

Elastic Agent 提供变量和输入条件以根据本地主机环境动态调整。用户可以直接在 YAML 中为独立 Elastic Agent 配置这些内容,或者使用 Fleet API 为 Fleet 管理的 Elastic Agent 配置这些内容。“集成”应用允许用户输入变量,我们正在考虑一个用于编辑条件的 UI。Beats 仅提供静态配置。

允许非超级用户管理资源和代理

yes

yes

是 (可选)

从 8.1.0 版本开始,不再需要超级用户角色即可使用 Fleet 和“集成”应用以及相应的 API。这些应用对于独立 Elastic Agent 是可选的。Beats 提供更细粒度的角色。

隔离网络支持

yes

是 (有限制)

yes

集成和 Fleet 应用可以部署在隔离环境中自托管 Elastic Package Registry 部署。Fleet 管理的 Elastic Agent 需要连接到我们的工件存储库才能进行代理二进制升级。但是,可以修改策略以使代理指向本地服务器以获取代理二进制文件。

在主机上以非 root 用户身份运行

yes

no

no

由 Fleet 管理的 Elastic Agent 需要 root 权限,特别是对于 Elastic Defend。独立的 Elastic Agent 也需要 root 权限。只有当 Beats 配置为捕获需要该权限级别的数据时,才需要 root 权限。

多个输出

yes

yes

yes

单个由 Fleet 管理的 Elastic Agent 的策略可以指定多个输出。

单独的监控集群

yes

yes

yes

由 Fleet 管理的 Elastic Agent、独立的 Elastic Agent 和 Beats 可以发送到远程监控集群。

密钥管理

yes

no

no

Elastic Agent 将凭据存储在代理策略中。我们正在考虑添加密钥库支持。 Beats 允许用户访问本地密钥库中的凭据。

渐进式或金丝雀部署

yes

no

yes

Fleet 没有逐步部署 Elastic Agent 策略更新的功能,但我们正在考虑改进支持。使用独立的 Elastic Agent 和 Beats,您可以使用第三方解决方案逐步部署配置文件。

每个主机多个配置

yes

no(改为使用输入条件)

no(改为使用输入条件)

Elastic Agent 使用单个 Elastic Agent 策略进行配置,并使用变量和输入条件来适应每个主机。 Beats 支持每个主机多个配置文件,使第三方解决方案能够分层或分组部署文件,并对这些文件进行更细粒度的访问控制。

与版本控制和基础架构即代码解决方案兼容

yes

no(仅通过 API)

yes

Fleet 将代理策略存储在 Elasticsearch 中。它不与外部版本控制或基础架构即代码解决方案集成,但我们正在考虑改进支持。但是,Beats 和独立模式下的 Elastic Agent 使用与此类解决方案兼容的 YAML 文件。

将数据缓冲到本地磁盘

yes

no

no

此功能目前正在考虑开发

Elastic Agent 监控支持编辑

您可以在代理策略中配置代理指标的收集。如果选择了指标收集(默认),则所有注册到该策略的 Elastic Agent 都将向 Elasticsearch 发送指标数据(输出是全局配置的)。

下图显示了默认代理策略的代理监控设置

Screen capture of agent monitoring settings in the default agent policy

还有一些针对代理指标的预构建仪表板,您可以在 Elastic Agent 集成的资产下访问

Screen capture of Elastic Agent monitoring assets

[Elastic Agent] 代理指标仪表板显示代理指标的聚合视图

Screen capture showing Elastic Agent metrics

有关更多信息,请参阅监控 Elastic Agent