« 管理 Logstash 配置集中式管道管理 »
Elastic 文档 ›Logstash 参考 [8.17] ›管理 Logstash

集中式管道管理

编辑

集中式管道管理

编辑

管道管理功能将 Logstash 配置管道的创建和管理集中在 Kibana 中。

集中式管道管理是一项订阅功能。如果您想试用全套功能，可以激活 30 天免费试用。要查看您的许可证状态、开始试用或安装新许可证，请打开 Kibana 主菜单并单击 堆栈管理 > 许可证管理。有关更多信息，请参阅 https://elastic.ac.cn/subscriptions 和 许可证管理。

您可以从 Kibana 中的管道管理 UI 控制多个 Logstash 实例。您可以添加、编辑和删除管道配置。在 Logstash 端，您只需启用配置管理并注册 Logstash 以使用集中管理的管道配置。

在配置 Logstash 以使用集中式管道管理后，您将无法再指定本地管道配置。启用集中式管道管理后，pipelines.yml 文件和诸如 path.config 和 config.string 等设置将处于非活动状态。

管理管道

编辑

在使用管道管理 UI 之前，您必须

  • 配置集中式管道管理.
  • 如果 Kibana 受基本身份验证保护，请确保您的 Kibana 用户具有 logstash_admin 角色，以及您在配置 Logstash 以使用基本身份验证时创建的 logstash_writer 角色。此外，为了在管道管理 UI 中查看（只读）非集中管理的管道，请确保您的 Kibana 用户也具有 monitoring_user 角色。

要在 Kibana 中管理 Logstash 管道

  1. 在浏览器中打开 Kibana，然后转到“管理”选项卡。如果您的配置管理设置正确，您将看到一个用于管理 Logstash 的区域。

    centralized config
  2. 单击 管道 链接。

  3. 要添加新管道，请单击 创建管道 并指定值。

    管道 ID

    唯一标识管道的名称。这是您在配置集中式管道管理并在 xpack.management.pipeline.id 设置中指定管道 ID 列表时使用的 ID。

    描述

    管道配置的描述。此信息供您使用。

    管道

    管道配置。您可以像对待任何其他编辑器一样对待管道管理 UI 中的编辑器。您不必担心空格或缩进。

    管道工作线程

    用于运行管道的过滤器和输出阶段的并行工作线程数。

    管道批次大小

    单个工作线程在执行过滤器和输出之前收集的最大事件数。

    管道批次延迟

    在将大小不足的批次发送给管道工作线程之前，等待每个事件的毫秒数。

    队列类型

    事件缓冲的内部排队模型。选项包括用于内存中排队的 内存 或用于基于磁盘的确认排队的 持久化。

    队列最大字节数

    启用持久队列时队列的总容量。

    队列检查点写入

    启用持久队列时，强制执行检查点之前写入的最大事件数。

管道行为

编辑
  • 管道配置和元数据存储在 Elasticsearch 中。您对管道定义所做的任何更改都会被所有注册使用该管道的 Logstash 实例自动拾取并加载。更改会立即应用。如果 Logstash 已注册使用该管道，则无需重新启动 Logstash 即可获取更改。
  • 该管道在所有注册使用该管道的 Logstash 实例上运行。Kibana 会保存新的配置，Logstash 会尝试加载它。UI 级别没有进行任何验证。
  • 您需要检查本地 Logstash 日志以查找配置错误。如果您在 Kibana 中使用 Logstash 监控功能，请使用“监控”选项卡检查 Logstash 节点的状态。
  • 您可以指定多个在同一 Logstash 节点上并行运行的管道配置。
  • 如果您编辑并保存管道配置，Logstash 会在后台重新加载配置并继续处理事件。
  • 如果您尝试删除在 Kibana 中正在运行的管道（例如，apache），Logstash 将尝试停止该管道。Logstash 会等待直到管道完全处理完所有事件。在删除管道之前，请确保您了解您的数据源。停止管道可能会导致数据丢失。
« 管理 Logstash 配置集中式管道管理 »