Google Cloud 模块
编辑Google Cloud 模块编辑
这是一个用于 Google Cloud 日志的模块。它支持读取已从 Stackdriver 导出到 Google Pub/Sub 主题接收器的审计、VPC 流量和防火墙日志。
当您运行该模块时，它会在后台执行一些任务
- 设置日志文件的默认路径（但别担心，您可以覆盖默认值）
- 确保每个多行日志事件都作为单个事件发送
- 使用 Elasticsearch 摄取管道来解析和处理日志行，将数据整形为适合在 Kibana 中可视化的结构
阅读快速入门，了解如何配置和运行模块。
配置模块编辑
您可以通过在 modules.d/gcp.yml 文件中指定变量设置，或在命令行中覆盖设置，来进一步优化 gcp 模块的行为。
您必须在模块中至少启用一个文件集。默认情况下，文件集处于禁用状态。
变量设置编辑
每个文件集都有单独的变量设置，用于配置模块的行为。如果您没有指定变量设置，gcp 模块将使用默认值。
对于高级用例，您还可以覆盖输入设置。请参阅覆盖输入设置。
当您在命令行中指定设置时，请记住在设置前面加上模块名称作为前缀，例如，使用 gcp.audit.var.paths 而不是 audit.var.paths。
audit 文件集设置编辑
配置示例
- module: gcp
audit:
enabled: true
var.project_id: my-gcp-project-id
var.topic: gcp-vpc-audit
var.subscription_name: filebeat-gcp-audit-sub
var.credentials_file: ${path.config}/gcp-service-account-xyz.json
var.keep_original_message: false
-
var.paths - 一个基于 glob 的路径数组，用于指定在何处查找日志文件。Go Glob 支持的所有模式在此处也受支持。例如，您可以使用通配符从预定义级别的子目录中获取所有文件：
/path/to/log/*/*.log。这将从/path/to/log的子文件夹中获取所有.log文件。它不会从/path/to/log文件夹本身获取日志文件。如果此设置为空，Filebeat 将根据您的操作系统选择日志路径。 -
var.project_id - Google Cloud 项目 ID。
-
var.topic - Google Cloud Pub/Sub 主题名称。
-
var.subscription_name - Google Cloud Pub/Sub 主题订阅名称。如果订阅不存在，将创建它。
-
var.credentials_file - 包含用于订阅的凭据和密钥的 JSON 文件的路径。
-
var.keep_original_message - 用于控制是否将原始消息存储在
log.original字段中的标志。默认为false，表示不保存原始消息。
vpcflow 文件集设置编辑
配置示例
- module: gcp
vpcflow:
enabled: true
var.project_id: my-gcp-project-id
var.topic: gcp-vpc-flowlogs
var.subscription_name: filebeat-gcp-vpc-flowlogs-sub
var.credentials_file: ${path.config}/gcp-service-account-xyz.json
var.keep_original_message: false
-
var.paths - 一个基于 glob 的路径数组，用于指定在何处查找日志文件。Go Glob 支持的所有模式在此处也受支持。例如，您可以使用通配符从预定义级别的子目录中获取所有文件：
/path/to/log/*/*.log。这将从/path/to/log的子文件夹中获取所有.log文件。它不会从/path/to/log文件夹本身获取日志文件。如果此设置为空，Filebeat 将根据您的操作系统选择日志路径。 -
var.project_id - Google Cloud 项目 ID。
-
var.topic - Google Cloud Pub/Sub 主题名称。
-
var.subscription_name - Google Cloud Pub/Sub 主题订阅名称。如果订阅不存在，将创建它。
-
var.credentials_file - 包含用于订阅的凭据和密钥的 JSON 文件的路径。
-
var.keep_original_message - 用于控制是否将原始消息存储在
log.original字段中的标志。默认为false，表示不保存原始消息。
firewall 文件集设置编辑
配置示例
- module: gcp
firewall:
enabled: true
var.project_id: my-gcp-project-id
var.topic: gcp-vpc-firewall
var.subscription_name: filebeat-gcp-vpc-firewall-sub
var.credentials_file: ${path.config}/gcp-service-account-xyz.json
var.keep_original_message: false
-
var.paths - 一个基于 glob 的路径数组，用于指定在何处查找日志文件。Go Glob 支持的所有模式在此处也受支持。例如，您可以使用通配符从预定义级别的子目录中获取所有文件：
/path/to/log/*/*.log。这将从/path/to/log的子文件夹中获取所有.log文件。它不会从/path/to/log文件夹本身获取日志文件。如果此设置为空，Filebeat 将根据您的操作系统选择日志路径。 -
var.project_id - Google Cloud 项目 ID。
-
var.topic - Google Cloud Pub/Sub 主题名称。
-
var.subscription_name - Google Cloud Pub/Sub 主题订阅名称。如果订阅不存在，将创建它。
-
var.credentials_file - 包含用于订阅的凭据和密钥的 JSON 文件的路径。
-
var.keep_original_message - 用于控制是否将原始消息存储在
log.original字段中的标志。默认为false，表示不保存原始消息。
字段编辑
有关模块中每个字段的描述，请参阅导出字段部分。