GCP Dataflow 模板
编辑GCP Dataflow 模板
编辑在本教程中，您将学习如何使用 Dataflow 模板将日志直接从 Google Cloud Console 发送到 Elastic Stack 中，以分析 GCP 审计日志。
您将学到什么
编辑您将学习如何
- 通过 Pub/Sub 主题和订阅导出 GCP 审计日志。
- 使用 Google Dataflow 摄取日志并在 Kibana 中查看这些日志。
开始之前
编辑在 Elastic Cloud 上使用我们的托管 Elasticsearch 服务创建一个部署。该部署包含一个用于存储和搜索数据的 Elasticsearch 集群，以及一个用于可视化和管理数据的 Kibana。
步骤 1：安装 GCP 集成
编辑您将首先安装 Elastic GCP 集成，以添加预构建的仪表板、摄取节点配置和其他资产，这些资产可帮助您充分利用摄取的 GCP 日志。
- 在主菜单中找到 集成，或使用 全局搜索字段。
-
搜索
gcp。
-
点击 Elastic Google Cloud Platform (GCP) 集成以查看更多详细信息，然后点击 添加 Google Cloud Platform (GCP)。
- 点击 保存集成。
本教程假设 Elastic 集群已在运行。要继续，您需要您的 云 ID 和 API 密钥。
要查找您的 部署 的云 ID，请转到部署的 概述 页面。
使用 Kibana 创建一个 Base64 编码的 API 密钥以对您的部署进行身份验证。
您可以选择限制 API 密钥的权限；否则，它们将成为已认证用户的权限的某个时间点的快照。在本教程中，数据写入到 logs-gcp.audit-default 数据流。
步骤 2：创建 Pub/Sub 主题和订阅
编辑在配置 Dataflow 模板之前，请从您的 Google Cloud Console 创建一个 Pub/Sub 主题和订阅，您可以在其中从 Google Operations Suite 发送日志。有三个可用的文件集：audit、vpcflow、firewall。本教程涵盖 audit 文件集。
-
转到 日志路由器 页面以配置 GCP 将日志导出到 Pub/Sub 主题。使用搜索栏查找页面
要设置日志路由接收器，请点击 创建接收器。将 接收器名称 设置为
monitor-gcp-audit-sink。选择 Cloud Pub/Sub 主题 作为 接收器服务，并 创建新的 Cloud Pub/Sub 主题，命名为monitor-gcp-audit
最后，在 选择要包含在接收器中的日志 下，添加
logName:"cloudaudit.googleapis.com"（它包含所有审计日志）。点击 创建接收器。它看起来类似于以下内容
-
现在转到 Pub/Sub 页面以向您刚刚创建的主题添加订阅。使用搜索栏查找页面
要向
monitor-gcp-audit主题添加订阅，请点击 创建订阅
将
monitor-gcp-audit-sub设置为 订阅 ID，并将 交付类型 保留为拉取
最后，向下滚动并点击 创建。
步骤 3：配置 Google Dataflow 模板
编辑创建 Pub/Sub 主题和订阅后，转到 Dataflow 作业 页面并配置您的模板以使用它们。使用搜索栏查找页面
要创建作业，请点击 从模板创建作业。将 作业名称 设置为 auditlogs-stream，并从 Dataflow 模板 下拉菜单中选择 Pub/Sub to Elasticsearch
在运行作业之前，请填写所需的参数
对于 Cloud Pub/Sub 订阅，请使用您在上一步中创建的订阅。对于 云 ID 和 Base64 编码的 API 密钥，请使用您之前获得的值。如果您没有 错误输出主题，请像上一步一样创建一个。
填写所需参数后，点击 显示可选参数 并添加 audit 作为日志类型参数。
一切就绪后，点击 运行作业 并等待 Dataflow 执行模板，这需要几分钟。
最后，导航到 Kibana 以查看您的日志在 [Logs GCP] Audit 仪表板中被解析和可视化。
除了从您的 Google Cloud Platform 收集审计日志外，您还可以使用 Dataflow 集成将数据直接从 Google BigQuery 和 Google Cloud Storage 摄取到 Elastic 中。