« Kafka 输出 为独立 Elastic Agent 配置 SSL/TLS »
Elastic 文档 ›Fleet 和 Elastic Agent 指南 [8.17] ›配置独立 Elastic Agent ›配置独立 Elastic Agent 的输出

Logstash 输出

编辑

Logstash 输出

编辑

Logstash 输出使用内部协议通过 TCP 将事件直接发送到 Logstash。Logstash 提供对 Elastic Agent 收集的数据的额外解析、转换和路由。

兼容性：此输出适用于所有兼容版本的 Logstash。请参阅Elastic 支持矩阵。

此示例在 elastic-agent.yml 文件中配置一个名为 default 的 Logstash 输出

outputs:
  default:
    type: logstash
    hosts: ["127.0.0.1:5044"]

Logstash 服务器和端口 (5044)，Logstash 在此端口上配置为侦听传入的 Elastic Agent 连接。

要在 Logstash 中接收事件，您还需要创建一个 Logstash 配置管道。Logstash 配置管道侦听传入的 Elastic Agent 连接，处理接收到的事件，然后将事件发送到 Elasticsearch。

以下 Logstash 管道定义示例配置了一个在端口 5044 上侦听传入的 Elastic Agent 连接并将接收到的事件路由到 Elasticsearch 的管道。

input {
  elastic_agent {
    port => 5044
    enrich => none # don't modify the events' schema at all
    ssl => true
    ssl_certificate_authorities => ["<ca_path>"]
    ssl_certificate => "<server_cert_path>"
    ssl_key => "<server_cert_key_in_pkcs8>"
    ssl_verify_mode => "force_peer"
  }
}

output {
  elasticsearch {
    hosts => ["https://127.0.0.1:9200"] 
    # cloud_id => "..."
    data_stream => "true"
    api_key => "<api_key>" 
    data_stream => true
    ssl => true
    # cacert => "<elasticsearch_ca_path>"
  }
}

Elasticsearch 服务器和端口 (9200)，Elasticsearch 在此端口上运行。

Logstash 用于将数据发送到目标数据流的 API 密钥。

有关配置 Logstash 的更多信息，请参阅配置 Logstash和Elastic Agent 输入插件。

Logstash 输出配置设置

编辑

logstash 输出支持以下按类别分组的设置。其中许多设置都具有合理的默认值，使您可以以最小的配置运行 Elastic Agent。

常用设置

编辑
设置 描述

enabled

(布尔值) 启用或禁用输出。如果设置为 false，则禁用输出。

escape_html

(布尔值) 配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值： false

hosts

(列表) 要连接的已知 Logstash 服务器的列表。如果禁用负载均衡，但配置了多个主机，则会随机选择一个主机（没有优先级）。如果一个主机变得不可访问，则会随机选择另一个主机。

此列表中的所有条目都可以包含端口号。如果未指定端口，则使用 5044。

proxy_url

(字符串) 连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是带有 socks5:// 方案的 URL。用于与 Logstash 通信的协议不是基于 HTTP 的，因此您不能使用 Web 代理。

如果 SOCKS5 代理服务器需要客户端身份验证，请将用户名和密码嵌入 URL 中，如示例所示。

使用代理时，主机名在代理服务器上解析，而不是在客户端上解析。要更改此行为，请设置 proxy_use_local_resolver。

outputs:
  default:
    type: logstash
    hosts: ["remote-host:5044"]
    proxy_url: socks5://user:password@socks5-proxy:2233

proxy_use_ local_resolver

(布尔值) 确定在使用代理时是否在本地解析 Logstash 主机名。如果 false 并且使用了代理，则名称解析发生在代理服务器上。

默认值： false

身份验证设置

编辑

通过 logstash 输出将数据发送到安全集群时，Elastic Agent 可以使用 SSL/TLS。有关可用设置的列表，请参阅SSL/TLS，特别是表 7，“通用配置选项”和表 8，“客户端配置选项”下的设置。

要使用 SSL/TLS，您还必须配置用于 Logstash 的 Elastic Agent 输入插件以使用 SSL/TLS。

有关更多信息，请参阅为 Logstash 输出配置 SSL/TLS。

内存队列设置

编辑

内存队列将所有事件保存在内存中。

内存队列等待输出确认或丢弃事件。如果队列已满，则无法将新事件插入内存队列。只有在收到输出的信号后，队列才会释放空间以接受更多事件。

内存队列由参数 flush.min_events 和 flush.timeout 控制。flush.min_events 限制单个批次中可以包含的事件数，而 flush.timeout 指定队列应等待多长时间才能完全填充事件请求。如果输出支持 bulk_max_size 参数，则最大批次大小将是 bulk_max_size 和 flush.min_events 中较小的值。

flush.min_events 是一个旧参数，新配置应首选使用 bulk_max_size 来控制批次大小。从 8.13 开始，使用 bulk_max_size 而不是 flush.min_events 来限制批次大小永远不会有性能优势。

在同步模式下，即使没有足够的事件来填充请求的批次，事件请求也会在事件可用时立即填充。当必须最小化延迟时，这很有用。要使用同步模式，请将 flush.timeout 设置为 0。

为了向后兼容，也可以通过将 flush.min_events 设置为 0 或 1 来激活同步模式。在这种情况下，批次大小将限制为队列容量的 1/2。

在异步模式下，事件请求将等待指定的最长时间，以尝试完全填充请求的批次。如果超时到期，队列将返回包含所有可用事件的部分批次。要使用异步模式，请将 flush.timeout 设置为正持续时间，例如 5 秒。

此示例配置在有足够的事件来填充输出的请求时（通常由 bulk_max_size 控制，并且最多由 flush.min_events 限制为 512 个事件）或当事件在没有填充请求大小时已等待 5 秒时，将事件转发到输出：如果有 512 个事件可用，或者最旧的可用事件在队列中等待了 5 秒

  queue.mem.events: 4096
  queue.mem.flush.min_events: 512
  queue.mem.flush.timeout: 5s
设置 描述

queue.mem.events

队列可以存储的事件数。此值应可被 queue.mem.flush.min_events 或 bulk_max_size 中较小的值整除，以避免将部分批次发送到输出。

默认值： 3200 个事件

queue.mem.flush.min_events

flush.min_events 是一个旧参数，新配置应首选使用 bulk_max_size 来控制批次大小。从 8.13 开始，使用 bulk_max_size 而不是 flush.min_events 来限制批次大小永远不会有性能优势

默认值： 1600 个事件

queue.mem.flush.timeout

(int) 满足 queue.mem.flush.min_events 的最大等待时间。如果设置为 0 秒，则事件会立即提供给输出。

默认值： 10 秒

性能调整设置

编辑

可能影响性能的设置。

设置 描述

backoff.init

(字符串) 在网络错误后尝试重新连接到 Logstash 之前等待的秒数。在等待 backoff.init 秒后，Elastic Agent 会尝试重新连接。如果尝试失败，则退避计时器会呈指数增加，直到达到 backoff.max。成功连接后，退避计时器将重置。

默认值： 1 秒

backoff.max

(字符串) 在网络错误后尝试连接到 Elasticsearch 之前等待的最大秒数。

默认值： 60 秒

bulk_max_size

(int) 单个 Logstash 请求中要批量处理的最大事件数。

可以将事件收集到批次中。Elastic Agent 会将大于 bulk_max_size 的批次拆分为多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是，大的批次大小也会增加处理时间，这可能会导致 API 错误、连接被终止、发布请求超时，并最终导致吞吐量降低。

将此值设置为 0 以关闭批次的拆分。关闭拆分后，队列会确定批次中包含的事件数。

默认值： 2048

compression_level

(int) gzip 压缩级别。将此值设置为 0 以禁用压缩。压缩级别必须在 1（最佳速度）到 9（最佳压缩）的范围内。

增加压缩级别会降低网络使用率，但会增加 CPU 使用率。

默认值： 3

loadbalance

如果为 true 且配置了多个 Logstash 主机，则输出插件会将发布的事件负载均衡到所有 Logstash 主机上。如果为 false，则输出插件会将所有事件发送到一个主机（随机确定），如果选定的主机无响应，则切换到另一个主机。

启用 loadbalance 时

  • Elastic Agent 读取批量的事件，并根据输出之间共享的工作队列，动态地将每批事件发送到一个 Logstash 工作进程。
  • 如果连接断开，Elastic Agent 会将断开连接的 Logstash 工作进程从其池中移除。
  • Elastic Agent 尝试重新连接。如果成功，它会将 Logstash 工作进程重新添加到池中。
  • 如果其中一个 Logstash 节点速度较慢但“健康”，它会发送一个保持活动信号，直到处理完完整的数据批次。这可以防止 Elastic Agent 发送进一步的数据，直到它收到来自 Logstash 的确认信号。Elastic Agent 会将所有事件保存在内存中，直到收到确认信号之后。

禁用 loadbalance 时

  • Elastic Agent 会随机选择一个 Logstash 主机，并将批量的事件发送到该主机。由于随机算法，Logstash 节点上的负载应该大致相等。
  • 如果出现任何错误，Elastic Agent 会随机选择另一个 Logstash 节点。如果连接到主机的失败，则只有在新连接出现错误时才会重试该主机。

默认值： false

示例

outputs:
  default:
    type: logstash
    hosts: ["localhost:5044", "localhost:5045"]
    loadbalance: true

max_retries

(int) 在发布失败后重试发布事件的次数。在指定的重试次数之后，事件通常会被丢弃。

将 max_retries 设置为小于 0 的值，表示重试直到所有事件都发布为止。

默认值： 3

pipelining

(int) 在等待 Logstash 的 ACK 时，异步发送到 Logstash 的批量数。在写入指定数量的批量后，输出将变为阻塞。指定 0 以关闭流水线。

默认值： 2

slow_start

(boolean) 如果为 true，则每次事务仅传输一批事件中的一部分事件。如果未遇到错误，则要发送的事件数会增加到 bulk_max_size。如果发生错误，则每次事务的事件数会再次减少。

默认值： false

timeout

(string) 等待 Logstash 服务器响应的秒数，之后超时。

默认值： 30s

ttl

(string) 与 Logstash 的连接的生存时间，之后将重新建立连接。当 Logstash 主机表示负载均衡器时，此设置很有用。由于与 Logstash 主机的连接是粘性的，因此在负载均衡器后面操作可能会导致跨实例的负载分配不均。在连接上指定 TTL 可以实现跨实例的均匀连接分配。

默认值： 0（禁用此功能）

异步 Logstash 客户端（设置了 pipelining 选项的客户端）尚不支持 ttl 选项。

worker

(int) 每个配置的主机发布事件的工作进程数。示例：如果有两个主机和三个工作进程，则总共启动六个工作进程（每个主机三个）。

默认值： 1
« Kafka 输出 为独立 Elastic Agent 配置 SSL/TLS »