« 使用 Elastic Agent 收集 Elasticsearch 监控数据 使用 Filebeat 收集 Elasticsearch 日志数据 »
Elastic 文档 ›Elasticsearch 指南 [8.16] ›监控集群

使用 Metricbeat 收集 Elasticsearch 监控数据

编辑

使用 Metricbeat 收集 Elasticsearch 监控数据

编辑

在 6.5 及更高版本中，您可以使用 Metricbeat 收集有关 Elasticsearch 的数据并将其发送到监控集群，而不是像旧版收集方法中所述的那样通过导出器路由它。

想使用 Elastic Agent 吗？请参阅使用 Elastic Agent 收集监控数据。

Example monitoring architecture
  1. 安装 Metricbeat。理想情况下，安装一个配置了 scope: cluster 的 Metricbeat 实例，并将 hosts 配置为指向将请求定向到集群中非主节点的端点（例如负载均衡代理）。如果无法做到这一点，则为生产集群中的每个 Elasticsearch 节点安装一个 Metricbeat 实例，并使用默认的 scope: node。当 Metricbeat 使用 scope: node 监控 Elasticsearch 时，您必须为每个 Elasticsearch 节点安装一个 Metricbeat 实例。如果不这样做，将不会收集某些指标。使用 scope: node 的 Metricbeat 会从集群的当选主节点收集大部分指标，因此您必须扩展所有符合主节点条件的节点以应对这些额外负载，并且如果您有专用主节点，则不应使用此模式。

  2. 在每个 Elasticsearch 节点上的 Metricbeat 中启用 Elasticsearch 模块。

    例如，要在 modules.d 目录中启用 Elastic Stack 监控功能的默认配置，请运行以下命令

    metricbeat modules enable elasticsearch-xpack

    有关更多信息，请参阅Elasticsearch 模块。

  3. 在每个 Elasticsearch 节点上的 Metricbeat 中配置 Elasticsearch 模块。

    modules.d/elasticsearch-xpack.yml 文件包含以下设置

      - module: elasticsearch
    xpack.enabled: true
    period: 10s
    hosts: ["https://127.0.0.1:9200"] 
    #scope: node 
    #username: "user"
    #password: "secret"
    #ssl.enabled: true
    #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]
    #ssl.certificate: "/etc/pki/client/cert.pem"
    #ssl.key: "/etc/pki/client/cert.key"
    #ssl.verification_mode: "full"

    默认情况下，该模块从 https://127.0.0.1:9200 收集 Elasticsearch 监控指标。如果该主机和端口号不正确，则必须更新 hosts 设置。如果您将 Elasticsearch 配置为使用加密通信，则必须通过 HTTPS 访问它。例如，使用 hosts 设置，如 https://127.0.0.1:9200。

    默认情况下，scope 设置为 node，并且 hosts 列表中的每个条目都指示 Elasticsearch 集群中的一个不同节点。如果将 scope 设置为 cluster，则 hosts 列表中的每个条目都指示一个不同 Elasticsearch 集群的单个端点（例如，集群前面的负载均衡代理）。如果集群有专用主节点，则应使用 scope: cluster，并将 hosts 列表中的端点配置为不将请求定向到专用主节点。

    如果启用了 Elastic 安全功能，则还必须提供用户 ID 和密码，以便 Metricbeat 可以成功收集指标

    1. 在生产集群上创建一个具有remote_monitoring_collector 内置角色的用户。或者，使用remote_monitoring_user 内置用户。
    2. 将 username 和 password 设置添加到 Elasticsearch 模块配置文件中。
    3. 如果在 Elasticsearch 集群的 HTTP 层上启用了 TLS，则必须使用 https 作为 hosts 设置中的 URL 方案，或者添加 ssl.enabled: true 设置。根据 Elasticsearch 集群的 TLS 配置，您可能还需要指定其他 ssl.* 设置。

  4. 可选：在 Metricbeat 中禁用 system 模块。

    默认情况下，system 模块已启用。但是，它收集的信息不会显示在 Kibana 的监控页面上。除非您想将该信息用于其他目的，否则请运行以下命令

    metricbeat modules disable system

  5. 确定将监控数据发送到哪里。

    在生产环境中，我们强烈建议使用单独的集群（称为 *监控集群*）来存储数据。使用单独的监控集群可以防止生产集群中断影响您访问监控数据的能力。它还可以防止监控活动影响生产集群的性能。

    例如，在 Metricbeat 配置文件 (metricbeat.yml) 中指定 Elasticsearch 输出信息

    output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["http://es-mon-1:9200", "http://es-mon-2:9200"] 

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

    在此示例中，数据存储在具有节点 es-mon-1 和 es-mon-2 的监控集群上。

    如果您将监控集群配置为使用加密通信，则必须通过 HTTPS 访问它。例如，使用 hosts 设置，如 https://es-mon-1:9200。

    Elasticsearch 监控功能使用摄取管道，因此存储监控数据的集群必须至少有一个摄取节点。

    如果在监控集群上启用了 Elasticsearch 安全功能，则必须提供有效的用户 ID 和密码，以便 Metricbeat 可以成功发送指标

    1. 在监控集群上创建一个具有remote_monitoring_agent 内置角色的用户。或者，使用remote_monitoring_user 内置用户。
    2. 将 username 和 password 设置添加到 Metricbeat 配置文件中的 Elasticsearch 输出信息中。

    有关这些配置选项的更多信息，请参阅配置 Elasticsearch 输出。

  6. 启动 Metricbeat 在每个节点上。
  7. 在 Kibana 中查看监控数据.
« 使用 Elastic Agent 收集 Elasticsearch 监控数据 使用 Filebeat 收集 Elasticsearch 日志数据 »