为堆栈监控收集 Logstash 监控数据

编辑

为堆栈监控收集 Logstash 监控数据

编辑

Elastic Agent 从您的 Logstash 实例收集监控数据,并将其直接发送到您的监控集群。通过 Elastic Agent 收集,即使 Logstash 实例不活动,监控代理也会保持活动状态。

您可以将 Elastic Agent 注册到 Fleet 以便从中心位置进行管理,也可以运行独立的 Elastic Agent

先决条件

在准备收集和发送堆栈监控的监控数据时,请完成以下步骤

设置 Elasticsearch 监控

要将 Logstash 指标绑定到 Elasticsearch 集群,请设置 Elasticsearch 监控。如果您想创建专用的监控集群(可选),请查看 Elasticsearch 监控文档

禁用 Logstash 监控指标的默认收集

在 logstash.yml 中将 monitoring.enabled 设置为 false 以禁用默认收集

monitoring.enabled: false
指定目标 cluster_uuid(可选)

要将 Logstash 的指标绑定到特定集群,可以选择在配置文件 (logstash.yml) 中定义 monitoring.cluster_uuid

monitoring.cluster_uuid: PRODUCTION_ES_CLUSTER_UUID
创建监控用户(仅限独立代理)

在生产集群上创建一个具有 remote_monitoring_collector 内置角色的用户。

安装和配置 Elastic Agent

编辑

完成先决条件后,安装并配置 Elastic Agent 以监控主机日志和指标。我们将通过以下步骤引导您完成该过程

有关更多信息,请查看Fleet 和 Elastic Agent 指南中的安装 Elastic Agent

添加 Elastic Agent Logstash 集成

编辑
  1. 转到 Kibana 主页,然后单击 添加集成

    Kibana home page
  2. 在查询栏中,搜索 Logstash 并选择集成以查看有关它的更多详细信息。
  3. 单击 添加 Logstash
  4. 配置集成名称,并可选择添加描述。
  5. 配置集成以收集日志。

    • 如果您想从 Logstash 实例收集日志,请确保 日志 已打开,并确保正确配置了所需的设置
    • 日志 下,修改日志路径以匹配您的 Logstash 环境。
  6. 配置集成以收集指标

    • 如果您想从 Logstash 实例收集指标,请确保 指标(堆栈监控) 已打开,指标(技术预览) 已关闭
    • 指标(堆栈监控) 下,确保 hosts 设置指向您的 Logstash 主机 URL。默认情况下,集成从 localhost:9600 收集 Logstash 监控指标。如果该主机和端口号不正确,请更新 hosts 设置。如果您配置 Logstash 使用加密通信,则必须通过 HTTPS 访问它。例如,使用类似 https://127.0.0.1:9600hosts 设置。
  7. 选择将集成策略添加到何处。
    单击 新主机 以将其添加到新的代理策略,或单击 现有主机 以将其添加到现有的代理策略。
  8. 在弹出窗口中,单击 将 Elastic Agent 添加到您的主机 以打开 添加代理 浮出窗口。

    如果您不小心关闭了弹出窗口,请转到 Fleet > 代理,然后单击 添加代理 以访问浮出窗口。

在您的计算机上安装并运行 Elastic Agent

编辑

添加代理 浮出窗口有两个选项:注册到 Fleet独立运行。在 Fleet 中注册代理(默认)可在 Kibana 中提供集中式管理工具,从而减少管理开销。

  1. 添加代理浮出窗口 出现时,请停留在 注册到 Fleet 选项卡上。
  2. 跳过 选择注册令牌 步骤。您需要的注册令牌已选择。

    注册令牌特定于您刚刚创建的 Elastic Agent 策略。当您运行命令以将代理注册到 Fleet 时,您将传入注册令牌。

  3. 通过选择您的主机操作系统并按照 在主机上安装 Elastic Agent 步骤,下载、安装并在主机上注册 Elastic Agent。

Elastic Agent 大约需要一分钟才能注册到 Fleet、下载您刚刚创建的策略中指定的配置并开始收集数据。

查看资产

编辑

确认注册并传入数据后,单击 查看资产 以访问与 Logstash 集成相关的仪表板。

对于传统的堆栈监控 UI,标记为 [日志 Logstash] 的仪表板用于可视化 Logstash 实例生成的日志,而标记为 [指标 Logstash] 的仪表板用于技术预览指标仪表板。只有在您选中 指标(技术预览) 复选框时,才会使用数据填充这些仪表板。

Integration assets

其中包含许多仪表板,用于整体查看 Logstash,以及允许您深入了解 Logstash 在节点、管道和插件基础上如何执行的仪表板。

监控 Logstash 日志和指标(堆栈监控)

编辑

在 Kibana 中查看监控数据,并导航到监控 UI