› ›

使用旧版收集器收集 Logstash 监控数据

编辑

使用旧版收集器收集 Logstash 监控数据

编辑

自 7.9.0 版本起已弃用。

旧版收集器的组件

编辑

使用旧版收集器监控 Logstash 使用以下组件：

这些组件位于默认 Logstash 管道之外的专用监控管道中。此配置确保所有数据和处理对普通的 Logstash 处理的影响最小。现有的 Logstash 功能（例如 elasticsearch 输出）可以重复使用，以利用其重试策略。

用于监控 Logstash 的 elasticsearch 输出是通过 logstash.yml 中的设置进行独占配置的。它不是通过使用 Logstash 配置中的任何内容进行配置的，这些配置也可能使用它们自己单独的 elasticsearch 输出。

生产 Elasticsearch 集群应配置为接收 Logstash 监控数据。此配置使生产 Elasticsearch 集群能够将元数据（例如其集群 UUID）添加到 Logstash 监控数据，然后将其路由到监控集群。有关典型监控架构的更多信息，请参阅 Elasticseach 参考中的监控工作原理。

收集器

编辑

顾名思义，收集器负责收集数据。在 Logstash 监控中，收集器与普通 Logstash 配置提供输入的方式一样，只是输入。

与 Elasticsearch 的监控类似，每个收集器可以创建零个或多个监控文档。根据当前的实现，每个 Logstash 节点运行两种类型的收集器：一种用于节点统计信息，另一种用于管道统计信息。

收集器数据类型描述

收集器	数据类型	描述
节点统计信息	`logstash_stats`	收集有关正在运行的节点的详细信息，例如内存利用率和 CPU 使用率（例如，`GET /_stats`）。这会在启用了监控的每个 Logstash 节点上运行。一个常见的故障是 Logstash 目录与其 `path.data` 目录一起复制（默认为 `./data`），这会将 Logstash 节点的持久 UUID 复制进去。结果，通常会出现一个或多个 Logstash 节点未能收集监控数据的情况，而实际上它们实际上都错误地报告为相同的 Logstash 节点。仅在升级 Logstash 时才重用 `path.data` 目录，以便升级的节点替换以前的版本。
管道统计信息	`logstash_state`	收集有关节点正在运行的管道的详细信息，这些详细信息为监控管道 UI 提供支持。

节点统计信息

logstash_stats

收集有关正在运行的节点的详细信息，例如内存利用率和 CPU 使用率（例如，GET /_stats）。

这会在启用了监控的每个 Logstash 节点上运行。一个常见的故障是 Logstash 目录与其 path.data 目录一起复制（默认为 ./data），这会将 Logstash 节点的持久 UUID 复制进去。结果，通常会出现一个或多个 Logstash 节点未能收集监控数据的情况，而实际上它们实际上都错误地报告为相同的 Logstash 节点。仅在升级 Logstash 时才重用 path.data 目录，以便升级的节点替换以前的版本。

管道统计信息

logstash_state

收集有关节点正在运行的管道的详细信息，这些详细信息为监控管道 UI 提供支持。

每个收集间隔（默认为 10 秒（10s））运行每个收集器。单个收集器的失败不会影响任何其他收集器。每个收集器作为普通的 Logstash 输入，在其隔离的监控管道中创建单独的 Logstash 事件。然后 Logstash 输出发送数据。

可以动态配置收集间隔，也可以禁用数据收集。有关收集器配置选项的更多信息，请参阅监控设置。

与 Elasticsearch 和 Kibana 监控不同，Logstash 上没有 xpack.monitoring.collection.enabled 设置。必须使用 xpack.monitoring.enabled 设置来启用和禁用数据收集。

如果 Kibana 中的监控图表中存在间隙，通常是因为收集器失败或监控集群未收到数据（例如，它正在重启）。如果收集器失败，则应在尝试执行收集的节点上存在记录的错误。

输出

编辑

与所有 Logstash 管道一样，专用监控管道的目的是将事件发送到输出。对于 Logstash 的监控，输出始终是 elasticsearch 输出。但是，与普通的 Logstash 管道不同，输出是在 logstash.yml 设置文件中通过 xpack.monitoring.elasticsearch.* 设置进行配置的。

除了其独特的配置方式外，此 elasticsearch 输出的行为与所有 elasticsearch 输出一样，包括在输出存在问题时暂停数据收集的能力。

所有 Logstash 节点共享相同的设置至关重要。否则，监控数据可能会以不同的方式或到不同的位置进行路由。

默认配置

编辑

如果 Logstash 节点没有明确定义监控输出设置，则使用以下默认配置：

xpack.monitoring.elasticsearch.hosts: [ "https://127.0.0.1:9200" ]

Logstash 监控生成的所有数据都使用 .monitoring-logstash 模板在监控集群中建立索引，该模板由 Elasticsearch 中的导出器管理。

如果您使用的是启用了 X-Pack 安全功能的集群，则需要采取额外的步骤来正确配置 Logstash。有关更多信息，请参阅监控 Logstash（旧版）。

在讨论与 elasticsearch 输出相关的安全性时，务必记住，所有用户都在生产集群上进行管理，生产集群在 xpack.monitoring.elasticsearch.hosts 设置中标识。当您从开发环境迁移到生产环境时，这一点尤其重要，因为在生产环境中，您通常拥有专用的监控集群。

有关输出配置选项的更多信息，请参阅监控设置。

使用旧版收集器配置 Logstash 监控

编辑

要监控 Logstash 节点：

指定发送监控数据的位置。此集群通常称为“生产集群”。有关典型监控架构的示例，请参阅监控工作原理。

要将 Logstash 作为 Elastic Stack 的一部分进行可视化（如步骤 6 所示），请将指标发送到您的“生产”集群。将指标发送到专用的监控集群将在“监控”集群下显示 Logstash 指标。
验证生产集群上的 xpack.monitoring.collection.enabled 设置是否为 true。如果该设置为 false，则 Elasticsearch 中的监控数据收集将被禁用，并且所有其他来源的数据都将被忽略。

通过将 xpack.monitoring.enabled 设置为 true 并将目标 Elasticsearch 节点指定为 logstash.yml 中的 xpack.monitoring.elasticsearch.hosts 来配置 Logstash 节点以发送指标。如果启用了安全功能，您还需要指定内置 logstash_system 用户的凭据。有关这些设置的更多信息，请参阅监控设置。

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["http://es-prod-node-1:9200", "http://es-prod-node-2:9200"] 
xpack.monitoring.elasticsearch.username: "logstash_system"
xpack.monitoring.elasticsearch.password: "changeme"

如果在生产集群上启用了 SSL/TLS，则必须通过 HTTPS 连接。从 v5.2.1 版本开始，您可以将多个 Elasticsearch 主机指定为数组，也可以将单个主机指定为字符串。如果指定了多个 URL，Logstash 可以将请求轮询到这些生产节点。

如果在生产 Elasticsearch 集群上启用了 SSL/TLS，请指定将用于验证集群中节点身份的可信 CA 证书。

要将 CA 证书添加到 Logstash 节点的可信证书中，您可以使用 certificate_authority 设置指定 PEM 编码证书的位置。
```
xpack.monitoring.elasticsearch.ssl.certificate_authority: /path/to/ca.crt
```
要添加未加载到磁盘上的 CA，您可以使用 ca_trusted_fingerprint 设置指定 DER 格式 CA 的十六进制编码 SHA 256 指纹。
```
xpack.monitoring.elasticsearch.ssl.ca_trusted_fingerprint: 2cfe62e474fb381cc7773c84044c28c9785ac5d1940325f942a3d736508de640
```
自安全 Elasticsearch 集群将在设置过程中将其 CA 的指纹提供给控制台。

您还可以使用 Elasticsearch 主机上的 openssl 命令行实用程序获取 Elasticsearch 的 CA 的 SHA256 指纹。
```
openssl x509 -fingerprint -sha256 -in $ES_HOME/config/certs/http_ca.crt
```
或者，您可以使用信任库（包含证书的 Java 密钥库文件）配置可信证书。
```
xpack.monitoring.elasticsearch.ssl.truststore.path: /path/to/file
xpack.monitoring.elasticsearch.ssl.truststore.password: password
```
此外，您还可以选择使用密钥库（包含证书的 Java 密钥库文件）或使用证书和密钥文件对来设置客户端证书。
```
xpack.monitoring.elasticsearch.ssl.keystore.path: /path/to/file
xpack.monitoring.elasticsearch.ssl.keystore.password: password
```
```
xpack.monitoring.elasticsearch.ssl.certificate: /path/to/certificate
xpack.monitoring.elasticsearch.ssl.key: /path/to/key
```
将嗅探设置为 true 以启用发现 Elasticsearch 集群的其他节点。默认为 false。
```
xpack.monitoring.elasticsearch.sniffing: false
```
重新启动 Logstash 节点。
要验证您的监控配置，请将您的 Web 浏览器指向您的 Kibana 主机，然后从侧边导航中选择 堆栈监控。如果这是初始设置，请选择 使用自我监控进行设置 并单击 打开监控。Logstash 节点报告的指标应在 Logstash 部分中可见。启用安全功能后，要查看监控仪表板，您必须以具有 kibana_user 和 monitoring_user 角色的用户身份登录 Kibana。

旧版收集器的监控设置

编辑

您可以在logstash.yml文件中设置以下xpack.monitoring设置，以控制如何从Logstash节点收集监控数据。但是，在大多数情况下，默认设置效果最佳。有关配置Logstash的更多信息，请参见logstash.yml。

常规监控设置

编辑

xpack.monitoring.enabled: 默认情况下，监控处于禁用状态。设置为true以启用X-Pack监控。
xpack.monitoring.elasticsearch.hosts: 您想要将Logstash指标发送到的Elasticsearch实例。这可能是Logstash配置中outputs部分中指定的同一个Elasticsearch实例，也可能是不同的实例。这不是您专用监控集群的URL。即使您使用的是专用监控集群，Logstash指标也必须通过您的生产集群路由。您可以将单个主机指定为字符串，也可以将多个主机指定为数组。默认为https://127.0.0.1:9200。

如果您的Elasticsearch集群配置了专用的主节点候选节点，则不应将Logstash指标路由到这些节点，因为这样做可能会造成资源竞争并影响Elasticsearch集群的稳定性。因此，不要在xpack.monitoring.elasticsearch.hosts中包含此类节点。

xpack.monitoring.elasticsearch.proxy: 监控Elasticsearch实例和被监控的Logstash可以由代理隔开。要启用Logstash连接到代理的Elasticsearch，请使用标准URI格式将此值设置为中间代理的URI，例如<protocol>://<host>，例如http://192.168.1.1。空字符串被视为未设置代理。
xpack.monitoring.elasticsearch.username和xpack.monitoring.elasticsearch.password: 如果您的Elasticsearch受基本身份验证保护，则这些设置提供了Logstash实例用于发送监控数据进行身份验证的用户名和密码。

监控收集设置

编辑

xpack.monitoring.collection.interval: 控制在Logstash端收集和发送数据样本的频率。默认为10s。如果修改收集间隔，请将kibana.yml中的xpack.monitoring.min_interval_seconds选项设置为相同的值。

监控TLS/SSL设置

编辑

您可以配置以下传输层安全 (TLS) 或安全套接字层 (SSL) 设置。有关更多信息，请参见配置Logstash监控的凭据。

xpack.monitoring.elasticsearch.ssl.ca_trusted_fingerprint: 可选设置，允许您指定Elasticsearch实例的证书颁发机构的十六进制编码SHA-256指纹。

自安全 Elasticsearch 集群将在设置过程中将其 CA 的指纹提供给控制台。

您还可以使用 Elasticsearch 主机上的 openssl 命令行实用程序获取 Elasticsearch 的 CA 的 SHA256 指纹。

openssl x509 -fingerprint -sha256 -in $ES_HOME/config/certs/http_ca.crt

xpack.monitoring.elasticsearch.ssl.certificate_authority: 可选设置，允许您指定Elasticsearch实例的证书颁发机构的.pem文件的路径。
xpack.monitoring.elasticsearch.ssl.truststore.path: 可选设置，提供用于验证服务器证书的Java密钥库(JKS)的路径。
xpack.monitoring.elasticsearch.ssl.truststore.password: 可选设置，提供密钥库的密码。
xpack.monitoring.elasticsearch.ssl.keystore.path: 可选设置，提供用于验证客户端证书的Java密钥库(JKS)的路径。
xpack.monitoring.elasticsearch.ssl.keystore.password: 可选设置，提供密钥库的密码。
xpack.monitoring.elasticsearch.ssl.certificate: 可选设置，提供用于对客户端进行身份验证的SSL证书的路径。此证书应为OpenSSL风格的X.509证书文件。

仅当设置了xpack.monitoring.elasticsearch.ssl.key时，才能使用此设置。

xpack.monitoring.elasticsearch.ssl.key: 可选设置，提供与xpack.monitoring.elasticsearch.ssl.certificate对应的OpenSSL风格的RSA私钥的路径。

仅当设置了xpack.monitoring.elasticsearch.ssl.certificate时，才能使用此设置。

xpack.monitoring.elasticsearch.ssl.verification_mode: 验证服务器证书的选项。默认为full。要禁用，请设置为none。禁用此选项会严重影响安全性。
xpack.monitoring.elasticsearch.ssl.cipher_suites: 可选设置，提供要使用的密码套件列表，按优先级列出。支持的密码套件因Java和协议版本而异。

其他设置

编辑

xpack.monitoring.elasticsearch.cloud_id: 如果您在Elastic Cloud中使用Elasticsearch，则应在此处指定标识符。此设置是xpack.monitoring.elasticsearch.hosts的替代方案。如果配置了cloud_id，则不应使用xpack.monitoring.elasticsearch.hosts。您想要将Logstash指标发送到的Elasticsearch实例。这可能是Logstash配置中outputs部分中指定的同一个Elasticsearch实例，也可能是不同的实例。
xpack.monitoring.elasticsearch.cloud_auth: 如果您在Elastic Cloud中使用Elasticsearch，则可以在此处设置您的身份验证凭据。此设置是xpack.monitoring.elasticsearch.username和xpack.monitoring.elasticsearch.password的替代方案。如果配置了cloud_auth，则不应使用这些设置。
xpack.monitoring.elasticsearch.api_key: 使用Elasticsearch API密钥进行身份验证。请注意，此选项还需要使用SSL。

API密钥格式为id:api_key，其中id和api_key与Elasticsearch 创建API密钥API返回的结果相同。

« 使用 Metricbeat 收集 Logstash 监控数据监控 UI »