监控 Google Cloud Platform (GCP)

使用 Metricbeat 密钥库来存储 安全设置。将云 ID 存储在密钥库中。

./metricbeat keystore create
echo -n "<Your Deployment Cloud ID>" | ./metricbeat keystore add CLOUD_ID --stdin

为了以最小的权限将指标存储在 Elasticsearch 中，请创建一个 API 密钥，以便将数据从 Metricbeat 发送到 Elasticsearch Service。登录 Kibana（您可以从云控制台执行此操作，无需输入任何权限），然后在 全局搜索字段 中找到 Dev Tools。从 控制台 发送以下请求

POST /_security/api_key
{
  "name": "metricbeat-monitor",
  "role_descriptors": {
    "metricbeat_writer": {
      "cluster": ["monitor", "read_ilm"],
      "index": [
        {
          "names": ["metricbeat-*"],
          "privileges": ["view_index_metadata", "create_doc"]
        }
      ]
    }
  }
}

响应包含一个 api_key 和一个 id 字段，它们可以按以下格式存储在 Metricbeat 密钥库中：id:api_key。

echo -n "IhrJJHMB4JmIUAPLuM35:1GbfxhkMT8COBB4JWY3pvQ" | ./metricbeat keystore add ES_API_KEY --stdin

要查看是否已存储这两个设置，请运行以下命令

./metricbeat keystore list

要配置 Metricbeat 输出到 Elasticsearch Service，请编辑 metricbeat.yml 配置文件。将以下行添加到文件末尾。

cloud.id: ${CLOUD_ID}
output.elasticsearch:
  api_key: ${ES_API_KEY}

最后，测试配置是否正常工作。如果配置不起作用，请验证您是否使用了正确的凭据并再次添加它们。

./metricbeat test output

启用 GCP 模块。

./metricbeat modules enable gcp

编辑 modules.d/gcp.yml 文件以配置要收集的指标。

- module: gcp
  metricsets:
    - compute 
  zone: "" 
  project_id: "your-project-id" 
  period: 1m 
  credentials_file_path: "/home/ubuntu/credentials.json" 

要检查 Metricbeat 是否可以收集数据，请通过运行以下命令测试输入

./metricbeat test modules gcp

如果设置正确，Metricbeat 将在终端打印 GCP 指标。

当输入和输出都准备就绪时，启动 Metricbeat 以收集数据。

./metricbeat -e

最后，登录 Kibana 并打开 [Metricbeat GCP] 计算概述 仪表板。

使用 Filebeat 密钥库来存储 安全设置。将云 ID 存储在密钥库中。

./filebeat keystore create
echo -n "<Your Deployment Cloud ID>" | ./filebeat keystore add CLOUD_ID --stdin

为了以最小的权限将日志存储在 Elasticsearch 中，请创建一个 API 密钥，以便将数据从 Filebeat 发送到 Elasticsearch Service。登录 Kibana（您可以从云控制台执行此操作，无需输入任何权限），然后在 全局搜索字段 中找到 Dev Tools。发送以下请求

POST /_security/api_key
{
  "name": "filebeat-monitor-gcp",
  "role_descriptors": {
    "filebeat_writer": {
      "cluster": [
        "monitor",
        "read_ilm",
        "cluster:admin/ingest/pipeline/get", 
        "cluster:admin/ingest/pipeline/put" 
      ],
      "index": [
        {
          "names": ["filebeat-*"],
          "privileges": ["view_index_metadata", "create_doc"]
        }
      ]
    }
  }
}

响应包含一个 api_key 和一个 id 字段，它们可以按以下格式存储在 Filebeat 密钥库中：id:api_key。

echo -n "IhrJJHMB4JmIUAPLuM35:1GbfxhkMT8COBB4JWY3pvQ" | ./filebeat keystore add ES_API_KEY --stdin

要查看是否已存储这两个设置，请运行以下命令

./filebeat keystore list

要配置 Filebeat 输出到 Elasticsearch Service，请编辑 filebeat.yml 配置文件。将以下行添加到文件末尾。

cloud.id: ${CLOUD_ID}
output.elasticsearch:
  api_key: ${ES_API_KEY}

最后，测试配置是否正常工作。如果配置不起作用，请验证您是否使用了正确的凭据，并在必要时再次添加它们。

./filebeat test output

转到 日志路由器 页面，配置 GCP 将日志导出到 Pub/Sub 主题。使用搜索栏查找页面。

要设置日志路由接收器，请单击 创建接收器。将 接收器名称 设置为 monitor-gcp-audit-sink。选择 Cloud Pub/Sub 主题 作为 接收器服务，并 创建新的 Cloud Pub/Sub 主题，命名为 monitor-gcp-audit。

最后，在 选择要包含在接收器中的日志 下，添加 logName:"cloudaudit.googleapis.com"（它包括所有审计日志）。单击 创建接收器。它看起来应该类似如下。

现在转到 Pub/Sub 页面，为刚刚创建的主题添加订阅。使用搜索栏查找页面。

要为 monitor-gcp-audit 主题添加订阅，请单击 创建订阅。

将 monitor-gcp-audit-sub 设置为 订阅 ID，并将 交付类型 保留为拉取。

最后，向下滚动并单击 创建。

现在 GCP 已配置为导出审计日志，请启用 Filebeat Google Cloud 模块。

./filebeat modules enable gcp

使用以下配置编辑 modules.d/gcp.yml 文件。

- module: gcp
  vpcflow:
    enabled: false 
  firewall:
    enabled: false 
  audit:
    enabled: true 
    var.project_id: "elastic-education" 
    var.topic: "monitor-gcp-audit" 
    var.subscription_name: "monitor-gcp-audit-sub" 
    var.credentials_file: "/home/ubuntu/credentials.json" 

启动 Filebeat 以收集日志。

./filebeat -e

最后，登录 Kibana 并打开 [Filebeat GCP] 审计 仪表板。