GCP Dataflow 模板

编辑

GCP Dataflow 模板编辑

在本教程中，您将学习如何使用 Dataflow 模板直接从 Google Cloud Console 发送日志，以便在 Elastic Stack 中分析 GCP 审计日志。

您将学到什么编辑

您将学习如何

通过 Pub/Sub 主题和订阅导出 GCP 审计日志。
使用 Google Dataflow 提取日志并在 Kibana 中查看这些日志。

准备工作编辑

使用我们在 Elastic Cloud 上托管的 Elasticsearch Service 创建部署。该部署包括一个用于存储和搜索数据的 Elasticsearch 集群，以及一个用于可视化和管理数据的 Kibana 实例。

步骤 1：安装 GCP 集成编辑

首先，您需要安装 Elastic GCP 集成，以添加预构建的仪表板、提取节点配置以及其他有助于您充分利用提取的 GCP 日志的资源。

在 Kibana 中转到集成并搜索gcp。
单击 Elastic Google Cloud Platform (GCP) 集成以查看有关它的更多详细信息，然后单击添加 Google Cloud Platform (GCP)。
单击保存集成。

步骤 2：创建 Pub/Sub 主题和订阅编辑

在配置 Dataflow 模板之前，请先在 Google Cloud Console 中创建一个 Pub/Sub 主题和订阅，您可以在其中从 Google Operations Suite 发送日志。有三种可用的文件集：audit、vpcflow、firewall。本教程涵盖audit文件集。

转到日志路由器页面，将 GCP 配置为将日志导出到 Pub/Sub 主题。使用搜索栏找到该页面。

要设置日志路由接收器，请单击创建接收器。将接收器名称设置为monitor-gcp-audit-sink。选择Cloud Pub/Sub 主题作为接收器服务，并创建新的 Cloud Pub/Sub 主题，命名为monitor-gcp-audit。

最后，在选择要包含在接收器中的日志下，添加logName:"cloudaudit.googleapis.com"（它包含所有审计日志）。单击创建接收器。它看起来类似于以下内容。
现在转到Pub/Sub页面，将订阅添加到您刚刚创建的主题。使用搜索栏找到该页面。

要将订阅添加到monitor-gcp-audit主题，请单击创建订阅。

将monitor-gcp-audit-sub设置为订阅 ID，并将传递类型保留为拉取。

最后，向下滚动并单击创建。