› › ›

配置 Logstash 输出

Logstash 输出通过使用 lumberjack 协议（在 TCP 上运行）将事件直接发送到 Logstash。Logstash 允许对生成的事件进行额外的处理和路由。

先决条件

要将事件发送到 Logstash，您还需要创建一个 Logstash 配置管道，该管道侦听传入的 Beats 连接并将接收到的事件索引到 Elasticsearch 中。有关更多信息，请参阅Logstash 入门。另请参阅 Beats 输入和 Elasticsearch 输出插件的文档。

如果您想使用 Logstash 对 Packetbeat 收集的数据执行其他处理，则需要将 Packetbeat 配置为使用 Logstash。

为此，请编辑 Packetbeat 配置文件以通过注释掉 Elasticsearch 输出来禁用它，并通过取消注释 Logstash 部分来启用 Logstash 输出。

output.logstash:
  hosts: ["127.0.0.1:5044"]

hosts 选项指定 Logstash 服务器和 Logstash 配置为侦听传入 Beats 连接的端口（5044）。

对于此配置，您必须手动将索引模板加载到 Elasticsearch 中，因为自动加载模板的选项仅适用于 Elasticsearch 输出。

访问元数据字段

编辑

发送到 Logstash 的每个事件都包含以下元数据字段，您可以在 Logstash 中使用这些字段进行索引和过滤。

{
    ...
    "@metadata": { 
      "beat": "packetbeat", 
      "version": "8.16.0" 
    }
}

	Packetbeat 使用 `@metadata` 字段将元数据发送到 Logstash。有关 `@metadata` 字段的更多信息，请参阅Logstash 文档。
	默认值为 packetbeat。要更改此值，请在 Packetbeat 配置文件中设置`index` 选项。
	Packetbeat 的当前版本。

您可以从 Logstash 配置文件中访问此元数据，以根据元数据内容动态设置值。

例如，以下 Logstash 配置文件指示 Logstash 使用 Packetbeat 报告的索引将事件索引到 Elasticsearch 中。

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["https://127.0.0.1:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}" 
    action => "create"
  }
}

%{[@metadata][beat]} 将索引名称的第一部分设置为 beat 元数据字段的值，而 %{[@metadata][version]} 将第二部分设置为 Beat 的版本。例如：packetbeat-8.16.0。

使用此处显示的 Logstash 配置索引到 Elasticsearch 中的事件将类似于 Packetbeat 直接索引到 Elasticsearch 中的事件。

如果未使用 ILM，请将 index 设置为 %{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}，以便 Logstash 基于来自 Beats 的事件的 @timestamp 值每天创建一个索引。

兼容性

编辑

此输出适用于所有兼容版本的 Logstash。请参阅Elastic 支持矩阵。

配置选项

编辑

您可以在 packetbeat.yml 配置文件的 logstash 部分中指定以下选项。

`enabled`

编辑

enabled 配置是一个布尔值设置，用于启用或禁用输出。如果设置为 false，则禁用输出。

默认值为 true。

`hosts`

编辑

要连接到的已知 Logstash 服务器列表。如果禁用负载均衡，但配置了多个主机，则会随机选择一个主机（没有优先级）。如果一个主机变得不可访问，则会随机选择另一个主机。

此列表中的所有条目都可以包含端口号。如果未给出数字，则将使用默认端口号 5044。

`compression_level`

编辑

gzip 压缩级别。将此值设置为 0 将禁用压缩。压缩级别必须在 1（最佳速度）到 9（最佳压缩）的范围内。

提高压缩级别将减少网络使用量，但会增加 CPU 使用量。

默认值为 3。

`escape_html`

编辑

配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值为 false。

`worker` 或 `workers`

编辑

每个配置的主机发布事件到 Logstash 的工作程序数量。这最适合与启用的负载均衡模式一起使用。例如：如果您有 2 个主机和 3 个工作程序，则总共启动 6 个工作程序（每个主机 3 个）。

`loadbalance`

编辑

当设置 loadbalance: true 时，Packetbeat 会连接到所有配置的主机，并通过所有连接并行发送数据。如果连接失败，则数据将发送到剩余的主机，直到可以重新建立连接。只要 Packetbeat 可以连接到其配置的主机中的至少一个，数据就会继续发送。

当设置 loadbalance: false 时，Packetbeat 会一次发送数据到一个主机。目标主机是从配置的主机列表中随机选择的，所有数据都会发送到该目标，直到连接失败，然后选择一个新的目标。只要 Packetbeat 可以连接到其配置的主机中的至少一个，数据就会继续发送。要随着时间的推移轮换配置的主机列表，请将此选项与 ttl 设置一起使用，以便在配置的间隔关闭连接并选择新的目标主机。

默认值为 false。

output.logstash:
  hosts: ["localhost:5044", "localhost:5045"]
  loadbalance: true
  index: packetbeat

`ttl`

编辑

与 Logstash 的连接的生存时间，在此之后将重新建立连接。在 Logstash 主机代表负载均衡器时很有用。由于与 Logstash 主机的连接是粘性的，因此在负载均衡器后面运行会导致实例之间的负载分配不均。在连接上指定 TTL 允许在实例之间实现均衡的连接分配。将 TTL 指定为 0 将禁用此功能。

默认值为 0。此设置接受持续时间数据类型值。

异步 Logstash 客户端（一个设置了“pipelining”选项的客户端）尚不支持“ttl”选项。

`pipelining`

编辑

配置要异步发送到 Logstash 的批次数量，同时等待来自 Logstash 的 ACK。只有在写入 pipelining 批次的指定数量后，输出才会变为阻塞。如果配置的值为 0，则禁用流水线。默认值为 2。

`proxy_url`

编辑

连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是方案为 socks5:// 的 URL。与 Logstash 通信使用的协议不是基于 HTTP，因此无法使用 Web 代理。

如果 SOCKS5 代理服务器需要客户端身份验证，则可以在 URL 中嵌入用户名和密码，如示例所示。

使用代理时，主机名将在代理服务器上解析，而不是在客户端上解析。您可以通过设置proxy_use_local_resolver 选项来更改此行为。

output.logstash:
  hosts: ["remote-host:5044"]
  proxy_url: socks5://user:password@socks5-proxy:2233

`proxy_use_local_resolver`

编辑

proxy_use_local_resolver 选项确定在使用代理时是否在本地解析 Logstash 主机名。默认值为 false，这意味着当使用代理时，名称解析发生在代理服务器上。

`index`

编辑

要将事件写入的索引根名称。默认为 Beat 名称。例如 "packetbeat" 生成 "[packetbeat-]8.16.0-YYYY.MM.DD" 索引（例如，"packetbeat-8.16.0-2017.04.26"）。

此参数的值将分配给 metadata.beat 字段。然后可以在 Logstash 的输出部分将其访问为 %{[@metadata][beat]}。

`ssl`

编辑

SSL 参数的配置选项，例如 Logstash 连接的根 CA。有关更多信息，请参阅SSL。要使用 SSL，您还必须将Logstash 的 Beats 输入插件配置为使用 SSL/TLS。

`timeout`

编辑

在超时之前等待 Logstash 服务器响应的时间（以秒为单位）。默认为 30（秒）。

`max_retries`

编辑

发布失败后重试发布事件的次数。在指定次数的重试后，事件通常会被丢弃。

将 max_retries 设置为小于 0 的值以一直重试，直到所有事件都发布为止。

默认为 3。

`bulk_max_size`

编辑

在单个 Logstash 请求中批量发送的事件的最大数量。默认为 2048。

事件可以收集到批次中。Packetbeat 将拆分从队列读取的批次，这些批次大于 bulk_max_size，并将其拆分为多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是，较大的批次大小也会增加处理时间，这可能导致 API 错误、连接被终止、发布请求超时，并最终导致吞吐量降低。

将 bulk_max_size 设置为小于或等于 0 的值将禁用批次的拆分。当禁用拆分时，队列将决定批次中包含的事件数量。

`slow_start`

编辑

如果启用，则每次事务仅传输事件批次中的一部分事件。如果未遇到错误，则要发送的事件数量将增加到 bulk_max_size。发生错误时，每次事务的事件数量将再次减少。

默认为 false。

`backoff.init`

编辑

网络错误后，等待尝试重新连接到 Logstash 的秒数。等待 backoff.init 秒后，Packetbeat 将尝试重新连接。如果尝试失败，则退避计时器将指数增长，直到达到 backoff.max。连接成功后，退避计时器将重置。默认为 1 秒。

`backoff.max`

编辑

网络错误后，尝试连接到 Logstash 前等待的最大秒数。默认为 60 秒。

« 配置 Elasticsearch 输出配置 Kafka 输出 »

配置 Logstash 输出