在 Cloud Foundry 上运行 Metricbeat

编辑

在 Cloud Foundry 上运行 Metricbeat

编辑

您可以在 Cloud Foundry 上使用 Metricbeat 来检索和发送指标。

创建 Cloud Foundry 凭据

编辑

为了连接到 loggregator 并接收日志，Metricbeat 需要使用 UAA 创建的凭据。 uaac 命令创建连接到 loggregator 的所需凭据。

uaac client add metricbeat --name metricbeat --secret changeme --authorized_grant_types client_credentials,refresh_token --authorities doppler.firehose,cloud_controller.admin_read_only

使用唯一的密钥： 此处显示的 uaac 命令只是一个示例。请记住将 changeme 替换为您的密钥，并更新 metricbeat.yml 文件以使用您选择的密钥。

下载 Cloud Foundry 部署清单

编辑

您可以将 Metricbeat 部署为没有路由的应用程序。

Cloud Foundry 要求在一个目录中存在 3 个文件才能推送 Metricbeat。以下命令提供了启动和运行的基本步骤。

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.16.0-linux-x86_64.tar.gz
tar xzvf metricbeat-8.16.0-linux-x86_64.tar.gz
cd metricbeat-8.16.0-linux-x86_64
curl -L -O https://raw.githubusercontent.com/elastic/beats/8.16/deploy/cloudfoundry/metricbeat/metricbeat.yml
curl -L -O https://raw.githubusercontent.com/elastic/beats/8.16/deploy/cloudfoundry/metricbeat/manifest.yml

您需要修改 metricbeat.yml 文件来设置 api_address、client_id 和 client_secret。

加载 Kibana 仪表板

编辑

Metricbeat 附带各种预构建的 Kibana 仪表板，您可以使用这些仪表板在 Kibana 中可视化数据。

如果这些仪表板尚未加载到 Kibana 中，则必须运行 Metricbeat setup 命令。要了解如何操作，请参阅加载 Kibana 仪表板。

如果您使用的是 Elasticsearch 以外的其他输出，例如 Logstash，则需要手动加载索引模板并 加载 Kibana 仪表板。

部署 Metricbeat

编辑

要将 Metricbeat 部署到 Cloud Foundry，请运行

cf push

要检查状态，请运行

$ cf apps

name       requested state   instances   memory   disk   urls
metricbeat   started           1/1         512M     1G

Metric 事件应开始流向 Elasticsearch。这些事件带有 add_cloudfoundry_metadata 处理器添加的元数据注释。

扩展 Metricbeat

编辑

单个 Metricbeat 实例每分钟可以发送超过十万个事件。如果您的 Cloud Foundry 部署产生的事件超过 Metricbeat 可以收集和发送的事件数量，则 Firehose 将开始丢弃事件，并将 Metricbeat 标记为慢速使用者。如果问题仍然存在，Metricbeat 可能会与 Firehose 断开连接。在这种情况下，您需要扩展 Metricbeat 以避免丢失事件。

您需要注意的主要设置是

在 cloudfoundry 模块中指定的 shard_id。Firehose 将在所有具有相同设置值的 Metricbeat 实例之间分配事件。所有具有相同 shard_id 的实例都应具有相同的配置。
Metricbeat 实例的数量。当 Metricbeat 部署为 Cloud Foundry 应用程序时，可以使用 cf scale 或在清单中指定实例数量来对其进行扩展和缩减。
输出配置。在某些情况下，您可以微调输出配置以提高事件吞吐量。某些输出支持多个工作进程。可以更改工作进程的数量以更好地利用可用资源。

当 Metricbeat 无法收集所有事件时，调整这些设置的一些基本建议

如果 Metricbeat 达到其 CPU 限制，则需要增加使用相同 shard_id 部署的 Metricbeat 实例的数量。
如果 Metricbeat 有一些空闲 CPU，则输出可能会有一些反压。尝试增加输出中的工作进程数量。如果这不起作用，则瓶颈可能在于网络或接收 Metricbeat 发送的事件的服务。
如果您需要修改 Metricbeat 的内存限制，请记住，分配给 Cloud Foundry 应用程序的 CPU 份额取决于配置的内存限制。之后可能需要检查其他建议。

« 在 Kubernetes 上运行 Metricbeat Metricbeat 和 systemd »