配置 Logstash 输出

编辑

Logstash 输出通过使用 lumberjack 协议(基于 TCP 运行)将事件直接发送到 Logstash。Logstash 允许对生成的事件进行额外的处理和路由。

先决条件

要将事件发送到 Logstash,您还需要创建一个 Logstash 配置管道,该管道侦听传入的 Beats 连接,并将接收到的事件索引到 Elasticsearch 中。有关更多信息,请参阅Logstash 入门。另请参阅 Beats 输入Elasticsearch 输出插件的文档。

如果您想使用 Logstash 对 Packetbeat 收集的数据执行额外的处理,则需要配置 Packetbeat 以使用 Logstash。

为此,请编辑 Packetbeat 配置文件,通过注释掉 Elasticsearch 输出禁用它,并通过取消注释 Logstash 部分来启用 Logstash 输出

output.logstash:
  hosts: ["127.0.0.1:5044"]

hosts 选项指定 Logstash 服务器和端口(5044),Logstash 配置为侦听传入的 Beats 连接。

对于此配置,您必须手动将索引模板加载到 Elasticsearch 中,因为自动加载模板的选项仅适用于 Elasticsearch 输出。

访问元数据字段

编辑

发送到 Logstash 的每个事件都包含以下元数据字段,您可以在 Logstash 中使用这些字段进行索引和过滤

{
    ...
    "@metadata": { 
      "beat": "packetbeat", 
      "version": "8.17.0" 
    }
}

Packetbeat 使用 @metadata 字段将元数据发送到 Logstash。有关 @metadata 字段的更多信息,请参阅 Logstash 文档

默认值为 packetbeat。要更改此值,请在 Packetbeat 配置文件中设置 index 选项。

Packetbeat 的当前版本。

您可以从 Logstash 配置文件中访问此元数据,以根据元数据的内容动态设置值。

例如,以下 Logstash 配置文件指示 Logstash 使用 Packetbeat 报告的索引,以便将事件索引到 Elasticsearch 中

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["https://127.0.0.1:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}" 
    action => "create"
  }
}

%{[@metadata][beat]} 将索引名称的第一部分设置为 beat 元数据字段的值,%{[@metadata][version]} 将第二部分设置为 Beats 的版本。例如:packetbeat-8.17.0

使用此处显示的 Logstash 配置索引到 Elasticsearch 中的事件将类似于由 Packetbeat 直接索引到 Elasticsearch 中的事件。

如果未使用 ILM,请将 index 设置为 %{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd},以便 Logstash 根据来自 Beats 的事件的 @timestamp 值每天创建一个索引。

兼容性

编辑

此输出适用于所有兼容版本的 Logstash。请参阅 Elastic 支持矩阵

配置选项

编辑

您可以在 packetbeat.yml 配置文件的 logstash 部分中指定以下选项

enabled

编辑

enabled 配置是一个布尔值设置,用于启用或禁用输出。如果设置为 false,则禁用输出。

默认值为 true

hosts

编辑

要连接的已知 Logstash 服务器的列表。如果禁用负载平衡,但配置了多个主机,则会随机选择一个主机(没有优先级)。如果一个主机变得无法访问,则会随机选择另一个主机。

此列表中的所有条目都可以包含端口号。如果未给出端口号,则将使用默认端口号 5044。

compression_level

编辑

gzip 压缩级别。将此值设置为 0 可禁用压缩。压缩级别必须在 1(最佳速度)到 9(最佳压缩)的范围内。

增加压缩级别会减少网络使用,但会增加 CPU 使用率。

默认值为 3。

escape_html

编辑

配置字符串中 HTML 的转义。设置为 true 可启用转义。

默认值为 false

workerworkers

编辑

每个配置的主机将事件发布到 Logstash 的工作线程数。最好在启用负载平衡模式时使用此选项。示例:如果您有 2 个主机和 3 个工作线程,则总共会启动 6 个工作线程(每个主机 3 个)。

loadbalance

编辑

当设置 loadbalance: true 时,Packetbeat 会连接到所有配置的主机,并通过所有连接并行发送数据。如果某个连接失败,则会将数据发送到其余主机,直到可以重新建立连接为止。只要 Packetbeat 可以连接到至少一个已配置的主机,就会继续发送数据。

当设置 loadbalance: false 时,Packetbeat 一次将数据发送到一个主机。目标主机是从配置的主机列表中随机选择的,并且所有数据都发送到该目标,直到连接失败,然后选择新的目标。只要 Packetbeat 可以连接到至少一个已配置的主机,就会继续发送数据。要随着时间的推移在已配置的主机列表中轮换,请将此选项与 ttl 设置结合使用,以在配置的时间间隔关闭连接并选择新的目标主机。

默认值为 false

output.logstash:
  hosts: ["localhost:5044", "localhost:5045"]
  loadbalance: true
  index: packetbeat

与 Logstash 的连接的生存时间,之后将重新建立连接。当 Logstash 主机代表负载均衡器时很有用。由于与 Logstash 主机的连接是粘性的,因此在负载均衡器后操作可能会导致实例之间的负载分配不均匀。在连接上指定 TTL 允许在实例之间实现相等的连接分配。指定 TTL 为 0 将禁用此功能。

默认值为 0。此设置接受持续时间数据类型值。

异步 Logstash 客户端(具有设置的“pipelining”选项)尚不支持“ttl”选项。

pipelining

编辑

配置在等待 Logstash 的 ACK 时异步发送到 Logstash 的批次数量。只有在写入 pipelining 批次数量后,输出才会变为阻塞状态。如果配置的值为 0,则禁用管道处理。默认值为 2。

proxy_url

编辑

连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是带有 socks5:// 方案的 URL。用于与 Logstash 通信的协议不是基于 HTTP 的,因此不能使用 Web 代理。

如果 SOCKS5 代理服务器需要客户端身份验证,则可以将用户名和密码嵌入到 URL 中,如示例所示。

使用代理时,主机名会在代理服务器上解析,而不是在客户端上解析。您可以通过设置 proxy_use_local_resolver 选项来更改此行为。

output.logstash:
  hosts: ["remote-host:5044"]
  proxy_url: socks5://user:password@socks5-proxy:2233

proxy_use_local_resolver

编辑

proxy_use_local_resolver 选项确定在使用代理时是否在本地解析 Logstash 主机名。默认值为 false,这意味着当使用代理时,名称解析发生在代理服务器上。

index

编辑

用于写入事件的索引根名称。默认值为 Beat 名称。例如,"packetbeat" 会生成 "[packetbeat-]8.17.0-YYYY.MM.DD" 索引(例如,"packetbeat-8.17.0-2017.04.26")。

此参数的值将分配给 metadata.beat 字段。然后可以在 Logstash 的输出部分中将其访问为 %{[@metadata][beat]}

用于 Logstash 连接的根 CA 等 SSL 参数的配置选项。有关更多信息,请参阅 SSL。要使用 SSL,您还必须配置 Logstash 的 Beats 输入插件以使用 SSL/TLS。

timeout

编辑

在超时之前等待 Logstash 服务器响应的秒数。默认值为 30(秒)。

max_retries

编辑

发布失败后重试发布事件的次数。在指定的重试次数之后,通常会丢弃事件。

max_retries 设置为小于 0 的值,以重试直到发布所有事件。

默认值为 3。

bulk_max_size

编辑

单个 Logstash 请求中要批量处理的最大事件数。默认值为 2048。

可以将事件收集到批次中。Packetbeat 会将从队列中读取的、大于 bulk_max_size 的批次拆分为多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是,较大的批次大小也会增加处理时间,这可能会导致 API 错误、连接被终止、发布请求超时,并最终导致吞吐量降低。

bulk_max_size 设置为小于或等于 0 的值将禁用批次拆分。禁用拆分时,队列会决定批次中包含的事件数。

slow_start

编辑

如果启用,则每次事务仅传输一批事件中的一部分事件。如果未遇到错误,则要发送的事件数量会增加到 bulk_max_size。如果出现错误,则每次事务的事件数量会再次减少。

默认值为 false

backoff.init

编辑

网络错误后,尝试重新连接到 Logstash 前等待的秒数。在等待 backoff.init 秒后,Packetbeat 尝试重新连接。如果尝试失败,退避计时器将呈指数增长,直到达到 backoff.max。成功连接后,退避计时器将被重置。默认值为 1 秒。

backoff.max

编辑

网络错误后,尝试连接到 Logstash 前等待的最大秒数。默认值为 60 秒。