监控 Google Cloud Platform (GCP)

使用 Metricbeat 密钥存储库来存储 安全设置。在密钥存储库中存储云 ID。

./metricbeat keystore create
echo -n "<Your Deployment Cloud ID>" | ./metricbeat keystore add CLOUD_ID --stdin

要以最少的权限将指标存储在 Elasticsearch 中，请创建一个 API 密钥以将数据从 Metricbeat 发送到 Elasticsearch Service。登录 Kibana（您可以从 Cloud Console 中执行此操作，无需输入任何权限）并在 全局搜索字段 中找到 Dev Tools。从 控制台 发送以下请求

POST /_security/api_key
{
  "name": "metricbeat-monitor",
  "role_descriptors": {
    "metricbeat_writer": {
      "cluster": ["monitor", "read_ilm"],
      "index": [
        {
          "names": ["metricbeat-*"],
          "privileges": ["view_index_metadata", "create_doc"]
        }
      ]
    }
  }
}

响应包含一个 api_key 字段和一个 id 字段，可以以下列格式存储在 Metricbeat 密钥存储库中：id:api_key。

echo -n "IhrJJHMB4JmIUAPLuM35:1GbfxhkMT8COBB4JWY3pvQ" | ./metricbeat keystore add ES_API_KEY --stdin

要查看是否已存储这两个设置，请运行以下命令

./metricbeat keystore list

要配置 Metricbeat 输出到 Elasticsearch Service，请编辑 metricbeat.yml 配置文件。将以下几行添加到文件的末尾。

cloud.id: ${CLOUD_ID}
output.elasticsearch:
  api_key: ${ES_API_KEY}

最后，测试配置是否正常工作。如果无法正常工作，请验证您是否使用了正确的凭据，并再次添加它们。

./metricbeat test output

启用 GCP 模块。

./metricbeat modules enable gcp

编辑 modules.d/gcp.yml 文件以配置要收集的指标。

- module: gcp
  metricsets:
    - compute 
  zone: "" 
  project_id: "your-project-id" 
  period: 1m 
  credentials_file_path: "/home/ubuntu/credentials.json" 

要检查 Metricbeat 是否可以收集数据，请通过运行以下命令测试输入

./metricbeat test modules gcp

如果设置正确，Metricbeat 将会打印 GCP 指标到终端。

当输入和输出准备就绪后，启动 Metricbeat 以收集数据。

./metricbeat -e

最后，登录 Kibana 并打开 [Metricbeat GCP] 计算概览 仪表板。

使用 Filebeat 密钥存储库来存储 安全设置。在密钥存储库中存储云 ID。

./filebeat keystore create
echo -n "<Your Deployment Cloud ID>" | ./filebeat keystore add CLOUD_ID --stdin

要以最少的权限将日志存储在 Elasticsearch 中，请创建一个 API 密钥以将数据从 Filebeat 发送到 Elasticsearch Service。登录 Kibana（您可以从 Cloud Console 中执行此操作，无需输入任何权限）并在 全局搜索字段 中找到 Dev Tools。发送以下请求

POST /_security/api_key
{
  "name": "filebeat-monitor-gcp",
  "role_descriptors": {
    "filebeat_writer": {
      "cluster": [
        "monitor",
        "read_ilm",
        "cluster:admin/ingest/pipeline/get", 
        "cluster:admin/ingest/pipeline/put" 
      ],
      "index": [
        {
          "names": ["filebeat-*"],
          "privileges": ["view_index_metadata", "create_doc"]
        }
      ]
    }
  }
}

响应包含一个 api_key 和一个 id 字段，可以按照以下格式存储在 Filebeat 密钥存储中：id:api_key。

echo -n "IhrJJHMB4JmIUAPLuM35:1GbfxhkMT8COBB4JWY3pvQ" | ./filebeat keystore add ES_API_KEY --stdin

要查看是否已存储这两个设置，请运行以下命令

./filebeat keystore list

要配置 Filebeat 输出到 Elasticsearch Service，请编辑 filebeat.yml 配置文件。将以下行添加到文件末尾。

cloud.id: ${CLOUD_ID}
output.elasticsearch:
  api_key: ${ES_API_KEY}

最后，测试配置是否有效。如果无效，请验证您是否使用了正确的凭据，并在必要时重新添加它们。

./filebeat test output

转到 日志路由器 页面以配置 GCP 将日志导出到 Pub/Sub 主题。使用搜索栏查找页面

要设置日志路由接收器，请点击 创建接收器。将 接收器名称 设置为 monitor-gcp-audit-sink。选择 Cloud Pub/Sub 主题 作为 接收器服务 并 创建新的 Cloud Pub/Sub 主题，命名为 monitor-gcp-audit

最后，在 选择要包含在接收器中的日志 下，添加 logName:"cloudaudit.googleapis.com"（它包含所有审计日志）。点击 创建接收器。它看起来类似于以下内容

现在转到 Pub/Sub 页面以向您刚刚创建的主题添加订阅。使用搜索栏查找页面

要向 monitor-gcp-audit 主题添加订阅，请点击 创建订阅

将 monitor-gcp-audit-sub 设置为 订阅 ID 并将 传递类型 保留为拉取

最后，向下滚动并点击 创建。

现在 GCP 已配置为导出审计日志，请启用 Filebeat Google Cloud 模块。

./filebeat modules enable gcp

使用以下配置编辑 modules.d/gcp.yml 文件。

- module: gcp
  vpcflow:
    enabled: false 
  firewall:
    enabled: false 
  audit:
    enabled: true 
    var.project_id: "elastic-education" 
    var.topic: "monitor-gcp-audit" 
    var.subscription_name: "monitor-gcp-audit-sub" 
    var.credentials_file: "/home/ubuntu/credentials.json" 

启动 Filebeat 以收集日志。

./filebeat -e

最后，登录 Kibana 并打开 [Filebeat GCP] Audit 仪表板。