New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« 配置 Elasticsearch 输出 配置 Kafka 输出 »
Elastic 文档 ›Filebeat 参考 [8.17] ›配置 Filebeat ›配置输出

配置 Logstash 输出

编辑

配置 Logstash 输出

编辑

Logstash 输出通过 lumberjack 协议（运行在 TCP 之上）将事件直接发送到 Logstash。Logstash 允许对生成的事件进行额外的处理和路由。

先决条件

要将事件发送到 Logstash，您还需要创建一个 Logstash 配置管道，该管道监听传入的 Beats 连接并将接收到的事件索引到 Elasticsearch 中。有关更多信息，请参阅 Logstash 入门。另请参阅 Beats 输入和 Elasticsearch 输出插件的文档。

如果您希望使用 Logstash 对 Filebeat 收集的数据执行额外的处理，您需要配置 Filebeat 以使用 Logstash。

为此，请编辑 Filebeat 配置文件，通过注释掉 Elasticsearch 输出禁用它，并通过取消注释 Logstash 部分启用 Logstash 输出。

output.logstash:
  hosts: ["127.0.0.1:5044"]

hosts 选项指定 Logstash 服务器和端口 (5044)，Logstash 在该端口配置为监听传入的 Beats 连接。

对于此配置，您必须手动将索引模板加载到 Elasticsearch，因为自动加载模板的选项仅适用于 Elasticsearch 输出。

想将 Filebeat 模块 与 Logstash 一起使用吗？您需要进行一些额外的设置。有关更多信息，请参阅 使用 Filebeat 模块。

访问元数据字段

编辑

发送到 Logstash 的每个事件都包含以下元数据字段，您可以在 Logstash 中使用这些字段进行索引和筛选。

{
    ...
    "@metadata": { 
      "beat": "filebeat", 
      "version": "8.17.0" 
    }
}

Filebeat 使用 @metadata 字段将元数据发送到 Logstash。有关 @metadata 字段的更多信息，请参阅 Logstash 文档。

默认值为 filebeat。要更改此值，请在 Filebeat 配置文件中设置 index 选项。

当前版本的 Filebeat。

您可以从 Logstash 配置文件中访问此元数据，以根据元数据的内容动态设置值。

例如，以下 Logstash 配置文件指示 Logstash 使用 Filebeat 报告的索引将事件索引到 Elasticsearch 中。

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["https://127.0.0.1:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}" 
    action => "create"
  }
}

%{[@metadata][beat]} 将索引名称的第一部分设置为 beat 元数据字段的值，%{[@metadata][version]} 将第二部分设置为 Beats 的版本。例如：filebeat-8.17.0。

使用此处显示的 Logstash 配置索引到 Elasticsearch 中的事件将类似于 Filebeat 直接索引到 Elasticsearch 中的事件。

如果未使用 ILM，请将 index 设置为 %{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}，以便 Logstash 根据来自 Beats 的事件的 @timestamp 值每天创建一个索引。

兼容性

编辑

此输出适用于所有兼容版本的 Logstash。请参阅 Elastic 支持矩阵。

配置选项

编辑

您可以在 filebeat.yml 配置文件的 logstash 部分中指定以下选项。

enabled

编辑

enabled 配置是一个布尔值设置，用于启用或禁用输出。如果设置为 false，则禁用输出。

默认值为 true。

hosts

编辑

要连接的已知 Logstash 服务器列表。如果禁用负载平衡，但配置了多个主机，则会随机选择一个主机（没有优先级）。如果一个主机变得不可访问，则会随机选择另一个主机。

此列表中的所有条目都可以包含端口号。如果未指定数字，则将使用默认端口号 5044。

compression_level

编辑

gzip 压缩级别。将此值设置为 0 将禁用压缩。压缩级别必须在 1（最快速度）到 9（最佳压缩）的范围内。

增加压缩级别将减少网络使用，但会增加 CPU 使用率。

默认值为 3。

escape_html

编辑

配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值为 false。

worker 或 workers

编辑

每个配置的主机将事件发布到 Logstash 的工作线程数。这最好与启用的负载平衡模式一起使用。示例：如果您有 2 个主机和 3 个工作线程，则总共启动 6 个工作线程（每个主机 3 个）。

loadbalance

编辑

当设置 loadbalance: true 时，Filebeat 会连接到所有配置的主机，并通过所有连接并行发送数据。如果连接失败，数据将发送到其余主机，直到可以重新建立连接。只要 Filebeat 可以连接到至少一个配置的主机，数据仍会发送。

当设置 loadbalance: false 时，Filebeat 一次将数据发送到单个主机。目标主机是从配置的主机列表中随机选择的，所有数据都会发送到该目标，直到连接失败，然后选择新的目标。只要 Filebeat 可以连接到至少一个配置的主机，数据仍会发送。要随着时间的推移轮换浏览配置的主机列表，请将此选项与 ttl 设置结合使用，以在配置的时间间隔关闭连接并选择新的目标主机。

默认值为 false。

output.logstash:
  hosts: ["localhost:5044", "localhost:5045"]
  loadbalance: true
  index: filebeat

ttl

编辑

与 Logstash 的连接的生存时间，之后将重新建立连接。当 Logstash 主机代表负载均衡器时，此选项很有用。由于与 Logstash 主机的连接是粘性的，因此在负载均衡器后面操作可能会导致实例之间的负载分配不均匀。在连接上指定 TTL 可以实现实例之间相等的连接分配。指定 TTL 为 0 将禁用此功能。

默认值为 0。此设置接受 duration 数据类型值。

“ttl”选项尚不支持异步 Logstash 客户端（具有“pipelining”选项的客户端）。

pipelining

编辑

配置在等待 Logstash 的 ACK 时异步发送到 Logstash 的批次数。只有在写入 pipelining 批次数量后，输出才会变为阻塞。如果配置的值为 0，则禁用管道传输。默认值为 2。

proxy_url

编辑

连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是具有 socks5:// 方案的 URL。与 Logstash 通信的协议不是基于 HTTP 的，因此不能使用 Web 代理。

如果 SOCKS5 代理服务器需要客户端身份验证，则用户名和密码可以嵌入到 URL 中，如示例所示。

使用代理时，主机名在代理服务器上解析，而不是在客户端上解析。您可以通过设置 proxy_use_local_resolver 选项来更改此行为。

output.logstash:
  hosts: ["remote-host:5044"]
  proxy_url: socks5://user:password@socks5-proxy:2233

proxy_use_local_resolver

编辑

proxy_use_local_resolver 选项确定在使用代理时是否在本地解析 Logstash 主机名。默认值为 false，这意味着在使用代理时，名称解析发生在代理服务器上。

index

编辑

要将事件写入的索引根名称。默认值为 Beat 名称。例如，"filebeat" 生成 "[filebeat-]8.17.0-YYYY.MM.DD" 索引（例如，"filebeat-8.17.0-2017.04.26"）。

此参数的值将分配给 metadata.beat 字段。然后可以在 Logstash 的输出部分中将其作为 %{[@metadata][beat]} 访问。

ssl

编辑

SSL 参数的配置选项，例如 Logstash 连接的根 CA。有关更多信息，请参阅 SSL。要使用 SSL，您还必须配置 Logstash 的 Beats 输入插件以使用 SSL/TLS。

timeout

编辑

在超时之前等待 Logstash 服务器响应的秒数。默认值为 30（秒）。

max_retries

编辑

Filebeat 忽略 max_retries 设置并无限期重试。

bulk_max_size

编辑

单个 Logstash 请求中批量处理的最大事件数。默认值为 2048。

可以将事件收集到批次中。Filebeat 会将从队列中读取的、大于 bulk_max_size 的批次拆分为多个批次。

指定较大的批次大小可以通过降低发送事件的开销来提高性能。但是，较大的批次大小也会增加处理时间，这可能会导致 API 错误、连接终止、发布请求超时，并最终降低吞吐量。

将 bulk_max_size 设置为小于或等于 0 的值会禁用批次拆分。禁用拆分时，队列将决定批次中包含的事件数。

slow_start

编辑

如果启用，则每个事务仅传输一批事件中的一部分事件。如果没有遇到错误，则要发送的事件数会增加到 bulk_max_size。如果出现错误，则每个事务的事件数将再次减少。

默认值为 false。

backoff.init

编辑

在发生网络错误后尝试重新连接到 Logstash 之前要等待的秒数。等待 backoff.init 秒后，Filebeat 会尝试重新连接。如果尝试失败，则回退计时器将以指数方式增加到 backoff.max。成功连接后，将重置回退计时器。默认值为 1 秒。

backoff.max

编辑

在发生网络错误后尝试连接到 Logstash 之前要等待的最大秒数。默认值为 60 秒。

« 配置 Elasticsearch 输出 配置 Kafka 输出 »