« 审计 Cloud Run »
Elastic 文档 ›Elastic 集成 ›Google Cloud

计费

编辑

计费

编辑

版本

2.39.0 ( 查看全部 )

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全性
可观测性

订阅级别
这是什么？

基本

指标

编辑

billing 数据集从 Google Cloud BigQuery 每日成本明细表中收集 Cloud 计费报告信息。 BigQuery 是完全托管的无服务器数据仓库。将 Cloud 计费导出到 BigQuery 使您可以将详细的 Google Cloud 计费数据（例如使用情况、成本估算和定价数据）在一天中自动导出到您指定的 BigQuery 数据集。然后，您可以从 BigQuery 访问您的 Cloud 计费数据以进行详细分析。

有关如何导出计费数据的更多详细信息，请参阅将云计费数据导出到 BigQuery。

在 BigQuery 数据集中，详细的 Google Cloud 每日成本数据将加载到一个名为 gcp_billing_export_v1_<BILLING_ACCOUNT_ID> 的数据表中。 Google Cloud 每日成本数据有一个定义的模式，该模式会导出到 BigQuery。有关更多详细信息，请参阅每日成本明细数据模式。

对于标准使用成本数据，请将表模式格式设置为 gcp_billing_export_v1。当未指定其他模式时，此表模式将设置为默认值。

对于详细使用成本数据，请将表模式设置为 gcp_billing_export_resource_v1。详细表包含标准字段和其他字段，例如 effective_price，从而可以更精细地查看费用。

要求

编辑

您需要 Elasticsearch 来存储和搜索您的数据，以及 Kibana 来可视化和管理它。您可以使用我们托管在 Elastic Cloud 上的 Elasticsearch 服务（推荐），也可以在您自己的硬件上自行管理 Elastic Stack。

在使用任何 GCP 集成之前，您需要

  • GCP 凭据 以连接您的 GCP 帐户。
  • GCP 权限 以确保您用于连接的服务帐户有权共享相关数据。

要收集 GCP 计费指标，需要以下权限才能访问必要的数据

  • roles/bigquery.dataViewer
  • roles/bigquery.jobUser
  • roles/billing.viewer

配置参数

编辑
dataset_id
编辑

dataset_id 是您存储计费数据的 BigQuery 数据集的唯一标识符。您可以在 Google Cloud Console 的 BigQuery 部分中找到此 ID。

table_pattern
编辑

table_pattern 参数允许您指定从指定数据集中检索哪些表。可以将其设置为 gcp_billing_export_v1 用于标准使用成本数据，或者设置为 gcp_billing_export_resource_v1 用于详细使用成本数据。

cost_type
编辑

cost_type 参数使您可以根据特定的成本类别筛选成本数据。您可以选择以下选项之一

  • regular：此成本类型包括与您使用 GCP 服务相关的所有常规成本。这不包括任何税费、调整或四舍五入误差。
  • tax：此成本类型包括与您使用 GCP 服务相关的所有税费。这不包括常规成本、调整或四舍五入误差。
  • adjustment：此成本类型包括对您的计费数据所做的任何调整。调整可能包括贷方、折扣、退款或对原始成本的任何其他修改。
  • rounding_error：此成本类型包括计算成本时发生的任何四舍五入误差。这些通常是非常小的金额，用于协调由于四舍五入而造成的任何差异。

配置示例

编辑

以下是您的配置可能如下所示的示例

dataset_id: "my_billing_dataset"
table_pattern: "gcp_billing_export_resource_v1"
project_id: "my_project"
cost_type: "regular"

在此示例中，代理将从 my_billing_dataset 数据集中所有以 gcp_billing_export_resource_v1 模式开头的表提取数据。

示例事件

编辑
示例

billing 的示例事件如下所示

{
    "@timestamp": "2017-10-12T08:05:34.853Z",
    "cloud": {
        "account": {
            "id": "01475F-5B1080-1137E7"
        },
        "project": {
            "id": "elastic-bi",
            "name": "elastic-containerlib-prod"
        },
        "provider": "gcp"
    },
    "event": {
        "dataset": "gcp.billing",
        "duration": 115000,
        "module": "gcp"
    },
    "gcp": {
        "billing": {
            "billing_account_id": "01475F-5B1080-1137E7",
            "cost_type": "regular",
            "invoice_month": "202106",
            "project_id": "containerlib-prod-12763",
            "project_name": "elastic-containerlib-prod",
            "total": 4717.170681,
            "sku_id": "0D56-2F80-52A5",
            "service_id": "6F81-5844-456A",
            "sku_description": "Network Inter Region Ingress from Jakarta to Americas",
            "service_description": "Compute Engine",
            "effective_price": 0.00292353,
            "tags": [
                {
                    "key": "stage",
                    "value": "prod"
                },
                {
                    "key": "size",
                    "value": "standard"
                }
            ]
        }
    },
    "metricset": {
        "name": "billing",
        "period": 10000
    },
    "service": {
        "type": "gcp"
    }
}

导出的字段

编辑

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

cloud.image.id

云实例的映像 ID。

keyword

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

gcp.billing.billing_account_id

项目计费帐户 ID。

keyword

gcp.billing.cost_type

成本类型包括常规、税费、调整和四舍五入误差。

keyword

gcp.billing.effective_price

Google Cloud SKU 和 SKU 层级的使用收费价格。如果适用，则反映合同价格，否则，则为标价。

float

gcp.billing.invoice_month

计费报告月份。

keyword

gcp.billing.project_id

计费报告所属的项目 ID。

keyword

gcp.billing.project_name

计费报告所属的项目名称。

keyword

gcp.billing.service_description

报告 Cloud 计费数据的 Google Cloud 服务。

keyword

gcp.billing.service_id

与使用相关联的服务的 ID。

keyword

gcp.billing.sku_description

服务使用的资源类型的描述。例如，Cloud Storage 的资源类型是标准存储美国。

keyword

gcp.billing.sku_id

服务使用的资源的 ID。

keyword

gcp.billing.tags

提供其他元数据的键值对集合。

nested

gcp.billing.tags.key

keyword

gcp.billing.tags.value

keyword

gcp.billing.total

总计费金额。

float

host.containerized

如果主机是容器。

boolean

host.os.build

操作系统构建信息。

keyword

host.os.codename

操作系统代号（如果有）。

keyword

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

2.39.0

增强 (查看拉取请求)
将 related.entity 字段添加到审计日志。

8.13.0 或更高版本

2.38.0

增强 (查看拉取请求)
将 policy_violation_info、metadata 和 related 字段添加到审计日志。

Bug 修复 (查看拉取请求)
更新 GCP 审计日志仪表板以使用正确的 email 字段。

8.13.0 或更高版本

2.37.2

Bug 修复 (查看拉取请求)
修复嵌套对象的子字段定义

8.13.0 或更高版本

2.37.1

增强 (查看拉取请求)
改进 GCP 计费文档。

8.13.0 或更高版本

2.37.0

增强 (查看拉取请求)
保留 authenticationInfo.serviceAccountKeyName 数据。

8.13.0 或更高版本

2.36.0

增强 (查看拉取请求)
添加用于仪表板的全局数据集过滤器以提高性能。

8.13.0 或更高版本

2.35.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板中冗余的 ECS 字段。

8.13.0 或更高版本

2.34.1

Bug 修复 (查看拉取请求)
修复 persistence.rdb.bgsave_in_progress 的 Redis 指标类型。指标类型应为布尔值而不是长整型。

8.12.0 或更高版本

2.34.0

增强 (查看拉取请求)
将标签和处理器添加到 GCP 计算、Firestore、PostgreSQL。

8.12.0 或更高版本

2.33.2

增强 (查看拉取请求)
将标签和处理器添加到 GCP 存储

8.12.0 或更高版本

2.33.1

增强 (查看拉取请求)
在 GCP 计费概览仪表板中将旧版指标可视化更新为新指标。

8.12.0 或更高版本

2.33.0

增强 (查看拉取请求)
为指标数据流启用时间序列数据。这可以显著减少指标的存储空间，并有望逐步提高查询[性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息，请参阅https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html。

8.12.0 或更高版本

2.32.1

增强 (查看拉取请求)
在所有指标数据流中添加维度映射和 metrics_fingerprint 字段。

8.12.0 或更高版本

2.32.0

增强 (查看拉取请求)
添加新的计费数据流字段。

8.12.0 或更高版本

2.31.2

错误修复 (查看拉取请求)
修复解析具有空 rdata 字段的 DNS 日志的管道错误。

8.7.1 或更高版本

2.31.1

增强 (查看拉取请求)
添加 Cloud Run 文档并修复策略模板名称，以允许将 Cloud Run 日志添加到策略中。

8.7.1 或更高版本

2.31.0

增强 (查看拉取请求)
允许用户保留其他被丢弃的字段。

8.7.1 或更高版本

2.30.1

错误修复 (查看拉取请求)
修复组字段的映射。

8.7.1 或更高版本

2.30.0

增强 (查看拉取请求)
添加 tags.yml 文件，以便将集成的仪表盘和已保存的搜索标记为“安全解决方案”，并在安全解决方案 UI 中显示。

增强 (查看拉取请求)
将包规范升级到 3.0.0。

错误修复 (查看拉取请求)
修复孤立的仪表盘引用。

错误修复 (查看拉取请求)
添加缺失的仪表盘过滤器。

8.7.1 或更高版本

2.29.1

错误修复 (查看拉取请求)
为重命名处理器添加 null 检查和 ignore_missing 检查。

8.7.1 或更高版本

2.29.0

错误修复 (查看拉取请求)
删除 GCP CloudSQL 中已弃用、alpha 或 beta 的指标，并修复字段类型。

8.7.1 或更高版本

2.28.5

增强 (查看拉取请求)
为 GKE、负载均衡、PubSub、Redis 和 Storage 数据流设置指标类型。

8.7.1 或更高版本

2.28.4

增强 (查看拉取请求)
将 GCP 负载均衡 HTTPS 概览仪表盘迁移到 Lens。

8.7.1 或更高版本

2.28.3

增强 (查看拉取请求)
为 Cloud Run、Compute、Dataproc 和 Firestore 数据流设置指标类型。

8.7.1 或更高版本

2.28.2

增强 (查看拉取请求)
将 GCP 负载均衡 TCP SSL 代理概览仪表盘迁移到 Lens。

8.7.1 或更高版本

2.28.1

增强 (查看拉取请求)
为 CloudSQL 数据流设置指标类型。

8.7.1 或更高版本

2.28.0

增强 (查看拉取请求)
将 GCP 负载均衡 L3 概览仪表盘迁移到 Lens。

8.7.1 或更高版本

2.27.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、SQL Server 和 PostgreSQL 仪表盘。

8.7.1 或更高版本

2.26.0

错误修复 (查看拉取请求)
修复 GCP loadbalancing_metrics 字段前缀。

8.7.1 或更高版本

2.25.1

错误修复 (查看拉取请求)
修复对 gcp.audit.authorization_info[].granted 的检查。

8.7.1 或更高版本

2.25.0

增强 (查看拉取请求)
将 GCP 计费输入控件迁移到新的控制面板。

8.7.1 或更高版本

2.24.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、Postgres、SQLServer 数据流。

8.7.1 或更高版本

2.23.0

增强 (查看拉取请求)
将安全仪表盘转换为 Lens。

8.7.1 或更高版本

2.22.1

增强 (查看拉取请求)
更改清单中的所有权。

8.6.0 或更高版本

2.22.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.6.0 或更高版本

2.21.0

增强 (查看拉取请求)
将包更新到 ECS 8.8.0。

8.6.0 或更高版本

2.20.1

错误修复 (查看拉取请求)
修复 persistence.rdb.bgsave_in_progress 字段的无效 TSDS 指标类型。

8.6.0 或更高版本

2.20.0

增强 (查看拉取请求)
将包更新到 ECS 8.7.0。

8.6.0 或更高版本

2.19.1

增强 (查看拉取请求)
将计算仪表盘迁移到 Lens 并添加数据流过滤器。

8.6.0 或更高版本

2.19.0

增强 (查看拉取请求)
添加 Cloud Run 指标数据流。

8.6.0 或更高版本

2.18.0

增强 (查看拉取请求)
支持 GCP PubSub 输入的 subscription_num_goroutines 和 subscription_max_outstanding_messages。

8.6.0 或更高版本

2.17.2

错误修复 (查看拉取请求)
修复审核采集管道中的 IP 转换处理器。

8.6.0 或更高版本

2.17.1

增强 (查看拉取请求)
添加了类别和/或子类别。

8.6.0 或更高版本

2.17.0

增强 (查看拉取请求)
添加审核日志概览仪表盘。

增强 (查看拉取请求)
添加 GKE 概览仪表盘。

增强 (查看拉取请求)
添加 PubSub 概览仪表盘。

增强 (查看拉取请求)
添加存储概览仪表盘。

8.6.0 或更高版本

2.16.2

错误修复 (查看拉取请求)
添加逻辑以处理审核中标量 request.policy 值。

8.5.0 或更高版本

2.16.1

错误修复 (查看拉取请求)
将缺失的输入控制面板替换为新式控件。

8.5.0 或更高版本

2.16.0

增强 (查看拉取请求)
将包更新到 ECS 8.6.0。

8.5.0 或更高版本

2.15.2

增强 (查看拉取请求)
更新文档。

8.5.0 或更高版本

2.15.1

增强 (查看拉取请求)
添加 GCP 计算管道测试。

8.5.0 或更高版本

2.15.0

增强 (查看拉取请求)
删除对 Kibana 7.17.x 的支持

增强 (查看拉取请求)
支持指标数据流的多个区域

8.5.0 或更高版本

2.14.0

增强 (查看拉取请求)
将包更新到 ECS 8.5.0。

8.3.0 或更高版本

2.13.0

增强 (查看拉取请求)
按值迁移仪表盘

8.3.0 或更高版本

2.12.1

错误修复 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.12.0

增强 (查看拉取请求)
添加 GCP Redis

7.17.6 或更高版本
8.3.0 或更高版本

2.11.12

错误修复 (查看拉取请求)
添加 GKE 采集管道。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.11

错误修复 (查看拉取请求)
修复 dns.answers.ttl 的类型。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10

增强 (查看拉取请求)
为 dataproc 添加采集管道。

增强 (查看拉取请求)
添加 GCP 负载均衡采集管道。

增强 (查看拉取请求)
添加 GCP PubSub 采集管道。

增强 (查看拉取请求)
添加 GCP Storage 采集管道。

增强 (查看拉取请求)
添加 GCP Firestore 采集管道。

增强 (查看拉取请求)
添加 GCP 计算摄取管道

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10-beta.6

增强 (查看拉取请求)
为 dataproc 添加采集管道。

—

2.11.10-beta.5

增强 (查看拉取请求)
添加 GCP 负载均衡采集管道。

—

2.11.10-beta.4

增强 (查看拉取请求)
添加 GCP PubSub 采集管道。

—

2.11.10-beta.3

增强 (查看拉取请求)
添加 GCP Storage 采集管道。

—

2.11.10-beta.2

增强 (查看拉取请求)
添加 GCP Firestore 采集管道。

—

2.11.10-beta.1

增强 (查看拉取请求)
添加 GCP 计算摄取管道

—

2.11.9

错误修复 (查看拉取请求)
修复 GKE kubernetes.io 缩进。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.8

增强 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.7

增强 (查看拉取请求)
将 Dataproc 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.6

增强 (查看拉取请求)
将负载均衡轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.5

增强 (查看拉取请求)
将存储轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.4

增强 (查看拉取请求)
将 PubSub 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.3

增强 (查看拉取请求)
将 GKE 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.2

增强 (查看拉取请求)
将 Firestore 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.1

增强 (查看拉取请求)
使用 ECS geo.location 定义。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.0

增强 (查看拉取请求)
将计算轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.10.0

增强 (查看拉取请求)
添加 GCP PubSub 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.9.0

增强 (查看拉取请求)
添加 GCP Dataproc 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.8.0

增强 (查看拉取请求)
添加 GCP GKE 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.7.0

增强 (查看拉取请求)
添加 GCP 存储数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.6.0

增强 (查看拉取请求)
添加负载均衡日志数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.5.0

增强 (查看拉取请求)
添加 GCP 负载均衡指标集

错误修复 (查看拉取请求)
修复 loadbalancing_metrics 中 credentials_json 的转义问题

错误修复 (查看拉取请求)
将 loadbalancing_metrics 默认周期更新为 60 秒

错误修复 (查看拉取请求)
修复 loadbalancing_metrics 的 event.dataset

增强 (查看拉取请求)
添加 loadbalancing_metrics 分布字段

7.17.6 或更高版本
8.3.0 或更高版本

2.4.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.4.0

7.17.6 或更高版本
8.3.0 或更高版本

2.3.0

增强 (查看拉取请求)
为 DNS 公共区域查询日志添加额外的解析

7.17.6 或更高版本
8.3.0 或更高版本

2.2.1

增强 (查看拉取请求)
修复计费策略模板标题和 gcp.compute 的默认周期

7.17.6 或更高版本
8.3.0 或更高版本

2.2.0

增强 (查看拉取请求)
删除 ECS 字段中重复的字段

7.17.6 或更高版本
8.3.0 或更高版本

2.1.0

增强 (foobar[查看拉取请求])
恢复与 7.17 发行版本的兼容性

7.17.6 或更高版本
8.3.0 或更高版本

2.0.0

重大更改 (查看拉取请求)
移动配置以支持指标。此更改是重大更改，因为它将某些配置从顶层变量移动到数据流变量。

此更改涉及 project_id、credentials_file 和 credentials_json 变量，这些变量从输入级别配置移动到软件包级别配置（因为这些变量在所有输入/数据流中重复使用）。

启用 GCP 集成的用户在将策略升级到此版本时需要再次输入这些变量的值。

增强 (查看拉取请求)
添加 GCP 计费数据流

增强 (查看拉取请求)
添加 GCP 计算数据流

增强 (查看拉取请求)
添加 GCP Firestore 数据流

8.3.0 或更高版本

1.10.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.3.0。

7.17.0 或更高版本
8.0.0 或更高版本

1.9.2

错误修复 (查看拉取请求)
修复响应状态的 GCP 审计日志解析问题

7.17.0 或更高版本
8.0.0 或更高版本

1.9.1

增强 (查看拉取请求)
更新自述文件

7.17.0 或更高版本
8.0.0 或更高版本

1.9.0

增强 (查看拉取请求)
在扁平化字段中保留请求和响应。

7.17.0 或更高版本
8.0.0 或更高版本

1.8.0

增强 (查看拉取请求)
添加缺少的 cloud.provider 字段。

7.17.0 或更高版本
8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
为防火墙和 VPC 流日志添加仪表板。

错误修复 (查看拉取请求)
为多个 event.* 字段添加缺少的映射。

—

1.6.1

增强 (查看拉取请求)
阐明 Pub/Sub 输入所需的 GCP 权限。

7.16.3 或更高版本
8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
更新到 ECS 8.2

—

1.5.1

增强 (查看拉取请求)
添加多字段的文档

7.16.3 或更高版本
8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
改进 Google Cloud Platform 文档。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.2

错误修复 (查看拉取请求)
删除空值、仅包含点的名称和无效的客户端 IP。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.1

错误修复 (查看拉取请求)
修复策略模板中 credentials_json 值的引用。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
添加 gcp.dns 集成

—

1.3.1

错误修复 (查看拉取请求)
添加 Ingest Pipeline 脚本以映射 IANA 协议号

7.15.0 或更高版本
8.0.0 或更高版本

1.3.0

增强 (查看拉取请求)
更新到 ECS 8.0

7.15.0 或更高版本
8.0.0 或更高版本

1.2.2

错误修复 (查看拉取请求)
使用新的 GeoIP 数据库重新生成测试文件

7.15.0 或更高版本
8.0.0 或更高版本

1.2.1

错误修复 (查看拉取请求)
将测试公共 IP 更改为支持的子集

—

1.2.0

增强 (查看拉取请求)
添加 8.0.0 版本约束

7.15.0 或更高版本
8.0.0 或更高版本

1.1.2

增强 (查看拉取请求)
更新标题和描述。

7.15.0 或更高版本

1.1.1

错误修复 (查看拉取请求)
修复检查 forwarded 标签的逻辑

—

1.1.0

增强 (查看拉取请求)
更新到 ECS 1.12.0

7.15.0 或更高版本

1.0.0

增强 (查看拉取请求)
从实验性迁移到 GA

增强 (查看拉取请求)
从 data_sets 中删除实验性

—

0.3.3

增强 (查看拉取请求)
转换为生成的 ECS 字段

—

0.3.2

增强 (查看拉取请求)
更新到 ECS 1.11.0

—

0.3.1

增强 (查看拉取请求)
在文档中转义特殊字符

—

0.3.0

增强 (查看拉取请求)
更新集成描述

—

0.2.0

增强 (查看拉取请求)
设置“event.module”和“event.dataset”

—

0.1.0

增强 (查看拉取请求)
更新到 ECS 1.10.0 并添加 event.original 选项

—

0.0.2

增强 (查看拉取请求)
更新到 ECS 1.9.0

—

0.0.1

增强 (查看拉取请求)
初始版本

—
« 审计 Cloud Run »