« 管理 Logstash 配置集中式管道管理 »
Elastic 文档 ›Logstash 参考 [8.14] ›管理 Logstash

集中式管道管理

编辑

集中式管道管理编辑

管道管理功能可以在 Kibana 中集中创建和管理 Logstash 配置管道。

集中式管道管理是一项订阅功能。如果您想体验全套功能，可以激活 30 天免费试用。要查看许可证状态、开始试用或安装新许可证，请打开 Kibana 主菜单，然后单击堆栈管理 > 许可证管理。有关更多信息，请参阅 https://elastic.ac.cn/subscriptions 和 许可证管理。

您可以从 Kibana 的管道管理 UI 控制多个 Logstash 实例。您可以添加、编辑和删除管道配置。在 Logstash 端，您只需启用配置管理并将 Logstash 注册为使用集中管理的管道配置即可。

将 Logstash 配置为使用集中式管道管理后，您将无法再指定本地管道配置。启用集中式管道管理后，pipelines.yml 文件和 path.config 和 config.string 等设置将处于非活动状态。

管理管道编辑

在使用管道管理 UI 之前，您必须

  • 配置集中式管道管理.
  • 如果 Kibana 使用基本身份验证进行保护，请确保您的 Kibana 用户具有 logstash_admin 角色以及在 将 Logstash 配置为使用基本身份验证 时创建的 logstash_writer 角色。此外，为了在管道管理 UI 中查看（只读）非集中管理的管道，请确保您的 Kibana 用户还具有 monitoring_user 角色。

要在 Kibana 中管理 Logstash 管道，请执行以下操作

  1. 在浏览器中打开 Kibana 并转到“管理”选项卡。如果您已正确设置配置管理，您将看到用于管理 Logstash 的区域。

    centralized config
  2. 单击管道链接。

  3. 要添加新管道，请单击创建管道并指定值。

    管道 ID

    唯一标识管道的名称。这是您在 配置集中式管道管理 并在 xpack.management.pipeline.id 设置中指定管道 ID 列表时使用的 ID。

    描述

    管道配置的描述。此信息供您使用。

    管道

    管道配置。您可以像对待任何其他编辑器一样对待管道管理 UI 中的编辑器。您无需担心空格或缩进。

    管道工作线程

    用于运行管道的过滤器和输出阶段的并行工作线程数。

    管道批处理大小

    单个工作线程在执行过滤器和输出之前收集的最大事件数。

    管道批处理延迟

    在将过小的批处理发送到管道工作线程之前等待每个事件的时间（以毫秒为单位）。

    队列类型

    用于事件缓冲的内部排队模型。选项包括用于内存排队的内存或用于基于磁盘的已确认排队的持久化。

    队列最大字节数

    启用持久队列时队列的总容量。

    队列检查点写入

    启用持久队列时，在强制执行检查点之前写入的最大事件数。

管道行为编辑

  • 管道配置和元数据存储在 Elasticsearch 中。您对管道定义所做的任何更改都将由注册使用该管道的所有 Logstash 实例自动获取和加载。更改将立即应用。如果 Logstash 已注册使用该管道，则无需重新启动 Logstash 即可获取更改。
  • 该管道在注册使用该管道的所有 Logstash 实例上运行。Kibana 会保存新配置，Logstash 将尝试加载它。在 UI 级别没有进行验证。
  • 您需要检查本地 Logstash 日志中是否存在配置错误。如果您在 Kibana 中使用 Logstash 监控功能，请使用“监控”选项卡检查 Logstash 节点的状态。
  • 您可以指定在同一 Logstash 节点上并行运行的多个管道配置。
  • 如果您编辑并保存管道配置，Logstash 会在后台重新加载配置并继续处理事件。
  • 如果您尝试删除在 Kibana 中运行的管道（例如，apache），Logstash 将尝试停止该管道。Logstash 会等到管道完全处理完所有事件。在删除管道之前，请确保您了解您的数据源。停止管道可能会导致数据丢失。
« 管理 Logstash 配置集中式管道管理 »