收集 Logstash 监控数据以进行堆栈监控

编辑

收集 Logstash 监控数据以进行堆栈监控编辑

Elastic Agent 从您的 Logstash 实例收集监控数据并将其直接发送到您的监控集群。使用 Elastic Agent 收集,即使 Logstash 实例未运行,监控代理也会保持活动状态。

您可以将 Elastic Agent 注册到 Fleet 以从中心位置进行管理,或者您可以运行 独立的 Elastic Agent

先决条件

在准备收集和发送堆栈监控的监控数据时,请完成以下步骤

禁用 Logstash 监控指标的默认收集

在 Logstash 配置文件 (logstash.yml) 中,monitoring 设置已注释掉

monitoring.enabled: false

删除该行开头的 # 以启用该设置。

指定目标 cluster_uuid(可选)

要将 Logstash 的指标绑定到特定集群,您可以在配置文件 (logstash.yml) 中可选地定义 monitoring.cluster_uuid

monitoring.cluster_uuid: PRODUCTION_ES_CLUSTER_UUID
设置 Elasticsearch 监控

设置 Elasticsearch 监控。如果您想创建一个专用的监控集群(可选),请查看 Elasticsearch 监控文档

创建监控用户(仅限独立代理)

在生产集群上创建一个具有 remote_monitoring_collector 内置角色 的用户。

安装和配置 Elastic Agent编辑

完成先决条件后,安装和配置 Elastic Agent 以监控主机日志和指标。我们将通过以下步骤引导您完成此过程

查看 安装 Elastic Agent(位于“Fleet 和 Elastic Agent 指南”中)以获取更多信息。

添加 Elastic Agent Logstash 集成编辑

  1. 转到 Kibana 主页,然后单击 添加集成

    Kibana home page
  2. 在查询栏中,搜索 Logstash 并选择该集成以查看有关它的更多详细信息。
  3. 单击 添加 Logstash
  4. 配置集成名称,并可选地添加描述。
  5. 配置集成以收集日志。

    • 如果您想从 Logstash 实例收集日志,请确保 日志 已启用,并确保已正确配置必需的设置
    • 日志 下,修改日志路径以匹配您的 Logstash 环境。
  6. 配置集成以收集指标

    • 如果您想从 Logstash 实例收集指标,请确保 指标(堆栈监控) 已启用,并且 指标(技术预览) 已禁用
    • 指标(堆栈监控) 下,确保主机设置指向您的 Logstash 主机 URL。默认情况下,该集成从 localhost:9600 收集 Logstash 监控指标。如果该主机和端口号不正确,请更新 hosts 设置。如果您已配置 Logstash 使用加密通信,则必须通过 HTTPS 访问它。例如,使用类似于 https://127.0.0.1:9600hosts 设置。
  7. 选择将集成策略添加到何处。
    单击 新主机 将其添加到新代理策略,或单击 现有主机 将其添加到现有代理策略。
  8. 在弹出窗口中,单击 将 Elastic Agent 添加到您的主机 以打开 添加代理 侧边栏。

    如果您不小心关闭了弹出窗口,请转到 Fleet > 代理,然后单击 添加代理 以访问侧边栏。

在您的机器上安装并运行 Elastic Agent编辑

添加代理 侧边栏中,有两个选项:注册到 Fleet独立运行。将代理注册到 Fleet(默认)在 Kibana 中提供了一个集中式管理工具,从而减少了管理开销。

  1. 添加代理侧边栏 出现时,请停留在 注册到 Fleet 选项卡上。
  2. 跳过 选择注册令牌 步骤。您需要的注册令牌已选中。

    注册令牌特定于您刚刚创建的 Elastic Agent 策略。当您运行命令将代理注册到 Fleet 时,您将传入注册令牌。

  3. 通过选择您的主机操作系统并按照 在您的主机上安装 Elastic Agent 步骤操作,下载、安装和注册主机上的 Elastic Agent。

Elastic Agent 大约需要一分钟才能注册到 Fleet、下载您刚刚创建的策略中指定的配置并开始收集数据。

查看资产编辑

确认注册并开始收集数据后,单击 查看资产 以访问与 Logstash 集成相关的仪表板。

对于传统的堆栈监控 UI,标记为 [日志 Logstash] 的仪表板用于可视化 Logstash 实例生成的日志,标记为 [指标 Logstash] 的仪表板用于技术预览指标仪表板。只有在您选中 指标(技术预览) 复选框时,这些仪表板才会填充数据。

Integration assets

包含许多仪表板用于查看整个 Logstash,以及允许您深入了解 Logstash 在节点、管道和插件基础上的执行情况的仪表板。

监控 Logstash 日志和指标(堆栈监控)编辑

在 Kibana 中查看监控数据,并导航到 监控 UI