GCP Dataflow 模板

编辑

GCP Dataflow 模板

编辑

在本教程中，您将学习如何使用 Dataflow 模板直接从 Google Cloud Console 发送日志，以便在 Elastic Stack 中分析 GCP 审计日志。

您将学到什么

编辑

您将学习如何

通过 Pub/Sub 主题和订阅导出 GCP 审计日志。
使用 Google Dataflow 提取日志，并在 Kibana 中查看这些日志。

开始之前

编辑

在 Elastic Cloud 上使用我们托管的 Elasticsearch 服务创建一个部署。该部署包括一个用于存储和搜索数据的 Elasticsearch 集群，以及用于可视化和管理数据的 Kibana。

步骤 1：安装 GCP 集成

编辑

首先，您需要安装 Elastic GCP 集成，以添加预构建的仪表板、提取节点配置以及其他有助于您充分利用所提取的 GCP 日志的资产。

在主菜单中找到集成或使用全局搜索字段。
搜索 gcp。
单击 Elastic Google Cloud Platform (GCP) 集成以查看有关它的更多详细信息，然后单击 添加 Google Cloud Platform (GCP)。
单击 保存集成。

步骤 2：创建 Pub/Sub 主题和订阅

编辑

在配置 Dataflow 模板之前，从您的 Google Cloud Console 创建一个 Pub/Sub 主题和订阅，您可以在其中从 Google Operations Suite 发送日志。有三个可用的文件集：audit、vpcflow、firewall。本教程涵盖 audit 文件集。

转到 日志路由器 页面，配置 GCP 以将日志导出到 Pub/Sub 主题。使用搜索栏查找该页面

要设置日志路由接收器，请单击 创建接收器。将 接收器名称 设置为 monitor-gcp-audit-sink。选择 Cloud Pub/Sub 主题 作为 接收器服务，并 创建新的 Cloud Pub/Sub 主题，命名为 monitor-gcp-audit

最后，在 选择要包含在接收器中的日志 下，添加 logName:"cloudaudit.googleapis.com"（它包括所有审计日志）。单击 创建接收器。它将类似于以下内容
现在转到 Pub/Sub 页面，将订阅添加到您刚创建的主题。使用搜索栏查找该页面

要将订阅添加到 monitor-gcp-audit 主题，请单击 创建订阅

将 monitor-gcp-audit-sub 设置为 订阅 ID，并将 传递类型 保留为 pull

最后，向下滚动并单击创建。