管道查看器 UI编辑

管道查看器 UI 提供了对复杂管道配置的行为和性能的额外可见性。使用管道查看器来可视化和监控复杂 Logstash 管道配置的行为。您可以看到并与一个树状视图交互,该视图说明了管道拓扑、数据流和分支逻辑。

管道查看器突出显示了 CPU% 和事件延迟,在这些情况下,这些值是异常的。此信息可以帮助您快速识别处理速度过慢的情况。

Pipeline Viewer

先决条件编辑

在使用管道查看器之前

Logstash 开始将指标发送到监控集群。

查看管道编辑

要查看管道

  • Kibana → 监控 → Logstash → 管道

每个管道都由一个管道 ID(默认情况下为 main)标识。对于每个管道,您都会看到管道在所选时间范围内的吞吐量和运行管道的节点数量。

树中的许多元素都是可点击的。例如,您可以单击插件名称以展开详细信息视图。

Pipeline Input Detail

单击分支名称旁边的箭头以折叠或展开它。

注意事项和最佳实践编辑

使用语义 ID。在配置 Logstash 管道中的阶段时,指定语义 ID。否则,Logstash 会为您生成它们。语义 ID 可以帮助您识别导致瓶颈的配置。例如,您的管道中可能运行着多个 grok 过滤器。如果您指定了语义 ID,则可以一目了然地知道哪些过滤器速度慢。语义 ID(例如 apacheParsingGrokcloudwatchGrok)可以帮助您找到导致瓶颈的 grok 过滤器。

异常值。 速度异常慢或其他方面不正常的数值和统计数据将被突出显示。这并不一定表示存在问题,但它会突出显示潜在的瓶颈,以便您可以快速找到它们。

由于工作性质的不同,某些插件比其他插件速度慢。例如,您可能会发现使用复杂正则表达式的 grok 过滤器比仅添加字段的 mutate 过滤器运行速度慢得多。在这种情况下,grok 过滤器可能会被突出显示,尽管可能无法进一步优化其工作。

版本控制。 版本信息可从管道 ID 旁边的下拉列表中获得。每次修改管道时,Logstash 都会生成一个新版本,并存储管道的多个版本统计信息。使用此信息查看随时间推移的变化如何影响吞吐量和其他指标。Logstash 不会存储管道配置的多个版本。