配置 Logstash 输出
编辑配置 Logstash 输出
编辑Logstash 输出使用 lumberjack 协议(通过 TCP 运行)将事件直接发送到 Logstash。Logstash 允许对生成的事件进行额外的处理和路由。
先决条件
要将事件发送到 Logstash,您还需要创建一个 Logstash 配置管道,该管道侦听传入的 Beats 连接并将接收到的事件索引到 Elasticsearch 中。有关更多信息,请参阅Logstash 入门。另请参阅Beats 输入和Elasticsearch 输出插件的文档。
如果您想使用 Logstash 对 Heartbeat 收集的数据执行额外的处理,您需要配置 Heartbeat 以使用 Logstash。
为此,请编辑 Heartbeat 配置文件,通过注释掉 Elasticsearch 输出禁用它,并通过取消注释 Logstash 部分启用 Logstash 输出。
output.logstash: hosts: ["127.0.0.1:5044"]
hosts
选项指定 Logstash 服务器和端口 (5044
),Logstash 在此处配置为侦听传入的 Beats 连接。
对于此配置,您必须手动将索引模板加载到 Elasticsearch 中,因为自动加载模板的选项仅适用于 Elasticsearch 输出。
访问元数据字段
编辑发送到 Logstash 的每个事件都包含以下元数据字段,您可以在 Logstash 中使用这些字段进行索引和筛选。
Heartbeat 使用 |
|
默认值为 heartbeat。要更改此值,请在 Heartbeat 配置文件中设置 |
|
当前版本的 Heartbeat。 |
您可以从 Logstash 配置文件中访问此元数据,以根据元数据的内容动态设置值。
例如,以下 Logstash 配置文件告诉 Logstash 使用 Heartbeat 报告的索引,将事件索引到 Elasticsearch 中。
input { beats { port => 5044 } } output { elasticsearch { hosts => ["https://127.0.0.1:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}" action => "create" } }
|
使用此处所示的 Logstash 配置索引到 Elasticsearch 中的事件,将类似于 Heartbeat 直接索引到 Elasticsearch 中的事件。
如果未使用 ILM,请将 index
设置为 %{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}
,以便 Logstash 根据来自 Beats 的事件的 @timestamp
值每天创建一个索引。
兼容性
编辑此输出适用于所有兼容版本的 Logstash。请参阅Elastic 支持矩阵。
配置选项
编辑您可以在 heartbeat.yml
配置文件的 logstash
部分中指定以下选项
hosts
编辑要连接的已知 Logstash 服务器的列表。如果禁用负载均衡,但配置了多个主机,则随机选择一个主机(没有优先级)。如果一个主机变得无法访问,则随机选择另一个主机。
此列表中的所有条目都可以包含端口号。如果未给出数字,则将使用默认端口号 5044。
compression_level
编辑gzip 压缩级别。将此值设置为 0 可禁用压缩。压缩级别必须在 1(最佳速度)到 9(最佳压缩)的范围内。
增加压缩级别将减少网络使用量,但会增加 CPU 使用率。
默认值为 3。
worker
或 workers
编辑每个配置的主机将事件发布到 Logstash 的工作线程数。最好在启用负载均衡模式的情况下使用此设置。例如:如果您有 2 个主机和 3 个工作线程,则总共启动 6 个工作线程(每个主机 3 个)。
loadbalance
编辑当设置 loadbalance: true
时,Heartbeat 连接到所有配置的主机,并通过所有连接并行发送数据。如果连接失败,数据将被发送到其余主机,直到重新建立连接。只要 Heartbeat 可以连接到至少一个配置的主机,数据仍将被发送。
当设置 loadbalance: false
时,Heartbeat 一次将数据发送到一个主机。目标主机是从配置的主机列表中随机选择的,并且所有数据都将发送到该目标,直到连接失败,然后选择新的目标。只要 Heartbeat 可以连接到至少一个配置的主机,数据仍将被发送。要随着时间的推移轮换配置的主机列表,请将此选项与 ttl
设置结合使用,以在配置的间隔关闭连接并选择新的目标主机。
默认值为 false
。
output.logstash: hosts: ["localhost:5044", "localhost:5045"] loadbalance: true index: heartbeat
ttl
编辑与 Logstash 的连接的生存时间,之后将重新建立连接。当 Logstash 主机代表负载均衡器时,此设置很有用。由于与 Logstash 主机的连接是粘性的,因此在负载均衡器后面运行可能会导致实例之间的负载分配不均。在连接上指定 TTL 可以实现实例之间相等的连接分布。指定 0 的 TTL 将禁用此功能。
默认值为 0。此设置接受持续时间数据类型值。
“ttl”选项尚不支持异步 Logstash 客户端(具有“pipelining”选项集的客户端)。
pipelining
编辑配置在等待 Logstash 的 ACK 时异步发送到 Logstash 的批量数。仅当已写入 pipelining
批量的数量时,输出才变为阻塞。如果配置的值为 0,则禁用管道。
默认值为 2。
编辑连接到 Logstash 服务器时要使用的 SOCKS5 代理的 URL。该值必须是具有 socks5://
方案的 URL。与 Logstash 通信的协议不是基于 HTTP 的,因此不能使用 Web 代理。
如果 SOCKS5 代理服务器需要客户端身份验证,则可以在 URL 中嵌入用户名和密码,如示例所示。
output.logstash: hosts: ["remote-host:5044"] proxy_url: socks5://user:password@socks5-proxy:2233
使用代理时,主机名在代理服务器上解析,而不是在客户端上解析。您可以通过设置 proxy_use_local_resolver
选项来更改此行为。
编辑proxy_use_local_resolver
选项确定在使用代理时是否在本地解析 Logstash 主机名。默认值为 false,这意味着当使用代理时,名称解析发生在代理服务器上。
编辑要将事件写入到的索引根名称。默认值为 Beat 名称。例如,"heartbeat"
生成 "[heartbeat-]8.17.0-YYYY.MM.DD"
索引(例如,"heartbeat-8.17.0-2017.04.26"
)。
此参数的值将分配给 metadata.beat
字段。然后可以在 Logstash 的输出部分中将其作为 %{[@metadata][beat]}
访问。
编辑用于 Logstash 连接的根 CA 等 SSL 参数的配置选项。有关更多信息,请参阅SSL。要使用 SSL,您还必须配置Logstash 的 Beats 输入插件以使用 SSL/TLS。
编辑等待来自 Logstash 服务器的响应的秒数,然后超时。默认值为 30(秒)。
编辑在发布失败后重试发布事件的次数。在指定的重试次数之后,事件通常会被丢弃。
将 max_retries
设置为小于 0 的值,以重试直到发布所有事件。
默认值为 3。
编辑单个 Logstash 请求中要批量处理的最大事件数。默认值为 2048。
可以将事件收集到批次中。Heartbeat 将从队列中读取的、大于 bulk_max_size
的批次拆分为多个批次。
指定较大的批量大小可以通过降低发送事件的开销来提高性能。但是,较大的批量大小也可能会增加处理时间,这可能会导致 API 错误、连接被终止、发布请求超时,并最终降低吞吐量。
backoff.init
编辑在发生网络错误后,尝试重新连接到 Logstash 之前等待的秒数。等待 backoff.init
秒后,Heartbeat 尝试重新连接。如果尝试失败,则退避计时器将呈指数增长,直到达到 backoff.max
。成功连接后,退避计时器将重置。默认值为 1 秒。
backoff.max
编辑在发生网络错误后,尝试连接到 Logstash 之前等待的最大秒数。默认值为 60 秒。