« Rubydebug 编解码器插件 JVM 设置 »
Elastic 文档 ›Logstash 参考 [8.16]

提示和最佳实践

编辑

提示和最佳实践

编辑

我们正在添加更多提示和最佳实践，请稍后查看。如果您有需要补充的内容，请

还可以查看 Logstash 讨论论坛。

命令行

编辑

Windows 系统上的 Shell 命令

编辑

命令行示例通常显示单引号。在 Windows 系统上，请将单引号 ' 替换为双引号 "。

示例

不要使用

bin/logstash -e 'input { stdin { } } output { stdout {} }'

在 Windows 系统上使用此格式

bin\logstash -e "input { stdin { } } output { stdout {} }"

管道

编辑

管道管理

编辑

您可以使用本地管道配置或 Kibana 中的 集中式管道管理 来管理 Logstash 实例中的管道。

配置 Logstash 使用集中式管道管理后，您将无法再指定本地管道配置。启用集中式管道管理时，pipelines.yml 文件以及 path.config 和 config.string 等设置将失效。

使用过滤器时的提示

编辑

检查布尔字段是否存在

编辑

您可以使用 mutate 过滤器来检查布尔字段是否存在。

Logstash 支持 [@metadata] 字段——这些字段对输出插件不可见，仅存在于过滤状态中。您可以将 [@metadata] 字段与 mutate 过滤器一起使用来检查字段是否存在。

filter {
  mutate {
    # we use a "temporal" field with a predefined arbitrary known value that
    # lives only in filtering stage.
    add_field => { "[@metadata][test_field_check]" => "a null value" }

    # we copy the field of interest into that temporal field.
    # If the field doesn't exist, copy is not executed.
    copy => { "test_field" => "[@metadata][test_field_check]" }
  }


  # now we now if testField didn't exists, our field will have
  # the initial arbitrary value
  if [@metadata][test_field_check] == "a null value" {
    # logic to execute when [test_field] did not exist
    mutate { add_field => { "field_did_not_exist" => true }}
  } else {
    # logic to execute when [test_field] existed
    mutate { add_field => { "field_did_exist" => true }}
  }
}

Kafka

编辑

Kafka 设置

编辑
每个主题的分区数
编辑

“每个主题应该使用多少个分区？”

至少是 Logstash 节点数乘以每个节点的消费者线程数。

最好使用上述数字的倍数。增加现有主题的分区数非常复杂。分区开销非常低。使用第一点建议的分区数量的 5 到 10 倍通常是可以的，只要总分区数不超过 2000。

宁可分区过多，总共最多 1000 个分区。尽量不要超过 1000 个分区。

消费者线程
编辑

“我应该配置多少个消费者线程？”

较低的值往往效率更高，内存开销也更小。尝试使用 1 的值，然后逐步增加。该值通常应该小于管道工作程序的数量。大于 4 的值很少能提高性能。

Kafka 输入和持久队列 (PQ)

编辑
Kafka 偏移量提交
编辑

“Kafka 输入是否仅在事件安全地持久保存到 PQ 后才提交偏移量？”

“Kafka 输入是否仅对已完全通过管道的事件提交偏移量？”

不，我们无法保证这一点。偏移量会定期提交到 Kafka。如果对 PQ 的写入速度缓慢或被阻塞，则可能会提交尚未安全到达 PQ 的事件的偏移量。

« Rubydebug 编解码器插件 JVM 设置 »