管道查看器 UI

编辑

管道查看器 UI 提供了对复杂管道配置的行为和性能的额外可见性。使用管道查看器可视化和监控复杂 Logstash 管道配置的行为。您可以查看和交互式操作树视图,该视图说明了管道拓扑、数据流和分支逻辑。

当 CPU% 和事件延迟的值异常时,管道查看器会突出显示这些值。此信息可帮助您快速识别处理速度异常缓慢的情况。

Pipeline Viewer

先决条件

编辑

在使用管道查看器之前

Logstash 开始将指标发送到监控集群。

查看管道

编辑

要查看管道

  • Kibana → 监控 → Logstash → 管道

每个管道都由一个管道 ID(默认为 main)标识。对于每个管道,您会看到管道的吞吐量以及在选定时间范围内运行该管道的节点数。

树中的许多元素都是可点击的。例如,您可以单击插件名称以展开详细视图。

Pipeline Input Detail

单击分支名称旁边的箭头以折叠或展开它。

注意事项和最佳实践

编辑

使用语义 ID。配置 Logstash 管道中的阶段时,请指定语义 ID。否则,Logstash 会为您生成它们。语义 ID 可帮助您识别导致瓶颈的配置。例如,您的管道中可能运行着多个 grok 过滤器。如果您已指定语义 ID,则可以一目了然地知道哪些过滤器速度较慢。语义 ID(例如 apacheParsingGrokcloudwatchGrok)会将您指向导致瓶颈的 grok 过滤器。

异常值。速度异常缓慢或以其他方式超出正常范围的值和统计信息会被突出显示。这并不一定表示存在问题,但它会突出显示潜在的瓶颈,以便您可以快速找到它们。

由于其工作的性质,某些插件的速度比其他插件慢。例如,您可能会发现,使用复杂正则表达式的 grok 过滤器比仅添加字段的 mutate 过滤器运行慢得多。在这种情况下,可能会突出显示 grok 过滤器,但可能无法进一步优化其工作。

版本控制。版本信息可从管道 ID 旁边的下拉列表中获得。每次修改管道时,Logstash 都会生成一个新版本,并存储管道统计信息的多个版本。使用此信息来查看随着时间的推移,更改如何影响吞吐量和其他指标。Logstash 不会存储管道配置的多个版本。