« Kafka 输出 为独立 Elastic Agent 配置 SSL/TLS »
Elastic 文档 ›Fleet 和 Elastic Agent 指南 [8.14] ›配置独立 Elastic Agent ›为独立 Elastic Agent 配置输出

Logstash 输出

编辑

Logstash 输出编辑

Logstash 输出使用内部协议通过 TCP 将事件直接发送到 Logstash。Logstash 提供对 Elastic Agent 收集的数据进行额外的解析、转换和路由。

兼容性： 此输出适用于所有兼容版本的 Logstash。请参阅 Elastic 支持矩阵。

此示例在 elastic-agent.yml 文件中配置了一个名为 default 的 Logstash 输出

outputs:
  default:
    type: logstash
    hosts: ["127.0.0.1:5044"]

Logstash 服务器和端口 (5044)，Logstash 配置为在此端口侦听传入的 Elastic Agent 连接。

要在 Logstash 中接收事件，您还需要创建一个 Logstash 配置管道。Logstash 配置管道侦听传入的 Elastic Agent 连接，处理接收到的事件，然后将事件发送到 Elasticsearch。

以下示例配置了一个 Logstash 管道，该管道在端口 5044 上侦听传入的 Elastic Agent 连接，并将接收到的事件路由到 Elasticsearch

input {
  elastic_agent {
    port => 5044
    enrich => none # don't modify the events' schema at all
    # or minimal change, add only ssl and source metadata
    # enrich => [ssl_peer_metadata, source_metadata]
  }
}

output {
  elasticsearch {
    hosts => ["https://127.0.0.1:9200"] 
    data_stream => "true"
  }
}

Elasticsearch 服务器和端口 (9200)，Elasticsearch 正在此端口上运行。

有关配置 Logstash 的更多信息，请参阅 配置 Logstash 和 Elastic Agent 输入插件。

Logstash 输出配置设置编辑

logstash 输出支持以下设置，按类别分组。其中许多设置都有合理的默认值，允许您以最少的配置运行 Elastic Agent。

常用设置编辑

设置 描述

enabled

（布尔值）启用或禁用输出。如果设置为 false，则禁用输出。

escape_html

（布尔值）配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值： false

hosts

（列表）要连接到的已知 Logstash 服务器列表。如果禁用负载均衡，但配置了多个主机，则随机选择一个主机（没有优先级）。如果一个主机变得不可达，则随机选择另一个主机。

此列表中的所有条目都可以包含端口号。如果没有指定端口，则使用 5044。

proxy_url

（字符串）连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是方案为 socks5:// 的 URL。用于与 Logstash 通信的协议不是基于 HTTP 的，因此您不能使用 Web 代理。

如果 SOCKS5 代理服务器需要客户端身份验证，请在 URL 中嵌入用户名和密码，如示例所示。

使用代理时，主机名在代理服务器上解析，而不是在客户端上解析。要更改此行为，请设置 proxy_use_local_resolver。

outputs:
  default:
    type: logstash
    hosts: ["remote-host:5044"]
    proxy_url: socks5://user:password@socks5-proxy:2233

proxy_use_ local_resolver

（布尔值）确定使用代理时 Logstash 主机名是否在本地解析。如果为 false 并且使用了代理，则在代理服务器上进行名称解析。

默认值： false

身份验证设置编辑

通过 logstash 输出将数据发送到安全集群时，Elastic Agent 可以使用 SSL/TLS。有关可用设置的列表，请参阅 SSL/TLS，特别是 表 4，“常用配置选项” 和 表 5，“客户端配置选项” 下的设置。

要使用 SSL/TLS，您还必须将 Logstash 的 Elastic Agent 输入插件 配置为使用 SSL/TLS。

有关更多信息，请参阅 为 Logstash 输出配置 SSL/TLS。

内存队列设置编辑

内存队列将所有事件保存在内存中。

内存队列等待输出确认或丢弃事件。如果队列已满，则无法将新事件插入内存队列。只有在收到来自输出的信号后，队列才会释放空间以接受更多事件。

内存队列由参数 flush.min_events 和 flush.timeout 控制。flush.min_events 限制了单个批次中可以包含的事件数量，flush.timeout 指定队列应等待多长时间才能完全填充事件请求。如果输出支持 bulk_max_size 参数，则最大批次大小将是 bulk_max_size 和 flush.min_events 中较小的一个。

flush.min_events 是一个遗留参数，新配置应优先使用 bulk_max_size 来控制批次大小。从 8.13 版本开始，使用 flush.min_events 而不是 bulk_max_size 来限制批次大小永远不会带来性能优势。

在同步模式下，只要有可用事件，就会立即填充事件请求，即使没有足够的事件来填充请求的批次也是如此。这在必须最大限度地减少延迟时非常有用。要使用同步模式，请将 flush.timeout 设置为 0。

为了向后兼容，还可以通过将 flush.min_events 设置为 0 或 1 来激活同步模式。在这种情况下，批次大小将限制为队列容量的 1/2。

在异步模式下，事件请求将等待指定的超时时间，以尝试完全填充请求的批次。如果超时时间到期，队列将返回一个包含所有可用事件的部分批次。要使用异步模式，请将 flush.timeout 设置为正持续时间，例如 5 秒。

此示例配置在有足够事件填充输出请求（通常由 bulk_max_size 控制，并由 flush.min_events 限制为最多 512 个事件）或事件已等待 5 秒但未填充请求的大小时，将事件转发到输出：f 512 个事件可用或最旧的可用事件已在队列中等待 5 秒

  queue.mem.events: 4096
  queue.mem.flush.min_events: 512
  queue.mem.flush.timeout: 5s
设置 描述

queue.mem.events

队列可以存储的事件数。此值应可以被 queue.mem.flush.min_events 或 bulk_max_size 中较小的一个整除，以避免向输出发送部分批次。

默认值： 3200 个事件

queue.mem.flush.min_events

flush.min_events 是一个遗留参数，新配置应优先使用 bulk_max_size 来控制批次大小。从 8.13 版本开始，使用 flush.min_events 而不是 bulk_max_size 来限制批次大小永远不会带来性能优势。

默认值： 1600 个事件

queue.mem.flush.timeout

（整数）queue.mem.flush.min_events 的最大等待时间。如果设置为 0 秒，则事件立即可用于输出。

默认值： 10 秒

性能调优设置编辑

可能影响性能的设置。

设置 描述

backoff.init

（字符串）网络错误后尝试重新连接到 Logstash 之前的等待秒数。等待 backoff.init 秒后，Elastic Agent 尝试重新连接。如果尝试失败，则退避计时器会呈指数级增加，直至达到 backoff.max。成功连接后，退避计时器将重置。

默认值： 1 秒

backoff.max

（字符串）网络错误后尝试连接到 Elasticsearch 之前的最大等待秒数。

默认值： 60 秒

bulk_max_size

（整数）单个 Logstash 请求中批量处理的最大事件数。

事件可以收集到批次中。Elastic Agent 会将大于 bulk_max_size 的批次拆分为多个批次。

指定较大的批次大小可以通过降低发送事件的开销来提高性能。但是，较大的批次大小也会增加处理时间，这可能会导致 API 错误、连接断开、发布请求超时，最终导致吞吐量降低。

将此值设置为 0 可关闭批处理拆分。关闭拆分后，队列将确定批处理中包含的事件数量。

默认值： 2048

compression_level

(整数) gzip 压缩级别。将此值设置为 0 可禁用压缩。压缩级别必须在 1（速度最快）到 9（压缩率最高）的范围内。

提高压缩级别会减少网络使用量，但会增加 CPU 使用量。

默认值： 3

loadbalance

如果为 true 并且配置了多个 Logstash 主机，则输出插件会将已发布的事件负载均衡到所有 Logstash 主机上。如果为 false，则输出插件会将所有事件发送到一台主机（随机确定），并在所选主机无响应时切换到另一台主机。

启用 loadbalance 后

  • Elastic Agent 会读取事件批次，并根据输出之间共享的工作队列，将每个批次动态发送到一个 Logstash 工作线程。
  • 如果连接断开，Elastic Agent 会从其池中移除断开的 Logstash 工作线程。
  • Elastic Agent 会尝试重新连接。如果成功，它会将 Logstash 工作线程重新添加到池中。
  • 如果其中一个 Logstash 节点速度较慢但“健康”，它会发送一个保持活动信号，直到处理完整个数据批次。这可以防止 Elastic Agent 发送更多数据，直到它收到来自 Logstash 的确认信号。Elastic Agent 会将所有事件保存在内存中，直到收到确认信号。

未启用 loadbalance 时

  • Elastic Agent 会随机选择一个 Logstash 主机，并将事件批次发送到该主机。由于采用随机算法，因此 Logstash 节点上的负载应该大致相等。
  • 如果出现任何错误，Elastic Agent 会随机选择另一个 Logstash 节点。如果与主机的连接失败，则仅当新连接上出现错误时才会重试该主机。

默认值： false

示例

outputs:
  default:
    type: logstash
    hosts: ["localhost:5044", "localhost:5045"]
    loadbalance: true

max_retries

(整数) 发布失败后重试发布事件的次数。在指定的重试次数后，通常会丢弃事件。

将 max_retries 设置为小于 0 的值，以不断重试，直到所有事件都发布为止。

默认值： 3

pipelining

(整数) 在等待 Logstash 的 ACK 时异步发送到 Logstash 的批次数。在写入指定数量的批次后，输出将变为阻塞状态。指定 0 可关闭流水线。

默认值： 2

slow_start

(布尔值) 如果为 true，则每次事务仅传输一批事件中的部分事件。如果没有遇到错误，则要发送的事件数量会增加到 bulk_max_size。如果出现错误，则每次事务的事件数量会再次减少。

默认值： false

timeout

(字符串) 等待 Logstash 服务器响应的秒数，超时后将超时。

默认值： 30s

ttl

(字符串) 与 Logstash 的连接的生存时间，在此时间之后将重新建立连接。当 Logstash 主机代表负载均衡器时，此设置非常有用。由于与 Logstash 主机的连接是粘性的，因此在负载均衡器后面运行可能会导致实例之间的负载分配不均。在连接上指定 TTL 以实现跨实例的均匀连接分配。

默认值： 0（关闭该功能）

异步 Logstash 客户端（pipelining 选项设置为 true 的客户端）尚不支持 ttl 选项。

worker

(整数) 每个已配置主机发布事件的工作线程数。示例：如果您有两个主机和三个工作线程，则总共会启动六个工作线程（每个主机三个）。

默认值： 1
« Kafka 输出 为独立 Elastic Agent 配置 SSL/TLS »