存储

编辑

版本

2.39.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么?

安全性
可观测性

订阅级别
这是什么?

基本

指标

编辑

storage 数据集从 Google Cloud Platform 中的 存储 获取指标。它包含从 GCP 存储监控 API 导出的所有指标。

您可以指定单个区域来获取指标,例如 us-central1。请注意,GCP 存储不使用区域,因此 us-central1-a 将不返回任何内容。如果未指定区域,它将返回来自所有存储桶的指标。

示例事件

编辑
示例

storage 的示例事件如下:

{
    "@timestamp": "2017-10-12T08:05:34.853Z",
    "cloud": {
        "account": {
            "id": "elastic-obs-integrations-dev",
            "name": "elastic-obs-integrations-dev"
        },
        "instance": {
            "id": "4751091017865185079",
            "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
        },
        "machine": {
            "type": "e2-medium"
        },
        "provider": "gcp",
        "availability_zone": "us-central1-c",
        "region": "us-central1"
    },
    "event": {
        "dataset": "gcp.storage",
        "duration": 115000,
        "module": "gcp"
    },
    "gcp": {
        "storage": {
            "storage": {
                "total": {
                    "bytes": 4472520191
                }
            },
            "network": {
                "received": {
                    "bytes": 4472520191
                }
            }
        },
        "labels": {
            "user": {
                "goog-gke-node": ""
            }
        }
    },
    "host": {
        "id": "4751091017865185079",
        "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
    },
    "metricset": {
        "name": "storage",
        "period": 10000
    },
    "service": {
        "type": "gcp"
    }
}

导出的字段

编辑

ECS 字段参考

有关 ECS 字段的详细信息,请参阅以下文档

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符(如果存在)。示例:对于 Beats,这将是 beat.id。

关键字

cloud.account.id

用于在多租户环境中标识不同实体的云帐户或组织 ID。示例:AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键字

cloud.image.id

云实例的镜像 ID。

关键字

data_stream.dataset

数据流数据集。

常量关键字

data_stream.namespace

数据流命名空间。

常量关键字

data_stream.type

数据流类型。

常量关键字

event.dataset

事件数据集

常量关键字

event.module

事件模块

常量关键字

gcp.labels.metadata.*

对象

gcp.labels.metrics.*

对象

gcp.labels.resource.*

对象

gcp.labels.system.*

对象

gcp.labels.user.*

对象

gcp.labels_fingerprint

标签字段的哈希值。

关键字

gcp.metrics....

从 Google Cloud API 查询返回的指标。

对象

gcp.storage.api.request.count

API 调用的增量计数,按 API 方法名称和响应代码分组。

长整型

仪表

gcp.storage.authz.acl_based_object_access.count

仅因对象 ACL 而导致对象被授予访问权限的请求的增量计数。

长整型

仪表

gcp.storage.authz.acl_operations.count

按类型细分的 ACL 操作使用情况。

长整型

仪表

gcp.storage.authz.object_specific_acl_mutation.count

对特定于对象的 ACL 所做更改的增量计数。

长整型

仪表

gcp.storage.network.received.bytes

通过网络接收的字节数的增量计数,按 API 方法名称和响应代码分组。

长整型

仪表

gcp.storage.network.sent.bytes

通过网络发送的字节数的增量计数,按 API 方法名称和响应代码分组。

长整型

仪表

gcp.storage.storage.object.count

每个存储桶中的对象总数,按存储类别分组。此值每天测量一次,并且该值在一天中的每个采样间隔重复。

长整型

仪表

gcp.storage.storage.total.bytes

存储桶中所有对象的总大小,按存储类别分组。此值每天测量一次,并且该值在一天中的每个采样间隔重复。

长整型

仪表

gcp.storage.storage.total_byte_seconds.bytes

通过网络接收的字节数的增量计数,按 API 方法名称和响应代码分组。

长整型

仪表

host.containerized

如果主机是容器。

布尔值

host.os.build

操作系统构建信息。

关键字

host.os.codename

操作系统代号(如果有)。

关键字

更新日志

编辑
更新日志
版本 详情 Kibana 版本

2.39.0

增强 (查看拉取请求)
related.entity 字段添加到审计日志。

8.13.0 或更高版本

2.38.0

增强 (查看拉取请求)
policy_violation_infometadatarelated 字段添加到审计日志。

错误修复 (查看拉取请求)
更新 GCP 审计日志仪表板以使用正确的 email 字段。

8.13.0 或更高版本

2.37.2

错误修复 (查看拉取请求)
修复嵌套对象的子字段定义

8.13.0 或更高版本

2.37.1

增强 (查看拉取请求)
改进 GCP 计费文档。

8.13.0 或更高版本

2.37.0

增强 (查看拉取请求)
保留 authenticationInfo.serviceAccountKeyName 数据。

8.13.0 或更高版本

2.36.0

增强 (查看拉取请求)
为仪表板添加全局数据集过滤器以提高性能。

8.13.0 或更高版本

2.35.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义以删除 ecs@mappings 组件模板冗余的 ECS 字段。

8.13.0 或更高版本

2.34.1

错误修复 (查看拉取请求)
修复persistence.rdb.bgsave_in_progress的 Redis 指标类型。指标类型应为布尔值而不是长整型。

8.12.0 或更高版本

2.34.0

增强 (查看拉取请求)
将标签和处理器添加到 GCP Compute、Firestore、PostgreSQL。

8.12.0 或更高版本

2.33.2

增强 (查看拉取请求)
将标签和处理器添加到 GCP 存储

8.12.0 或更高版本

2.33.1

增强 (查看拉取请求)
将旧指标可视化更新为 GCP 计费概览仪表板中的新指标。

8.12.0 或更高版本

2.33.0

增强 (查看拉取请求)
为指标数据流启用时间序列数据。这大大减少了指标的存储量,并有望逐步提高查询[性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息,请参阅 https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html

8.12.0 或更高版本

2.32.1

增强 (查看拉取请求)
在所有指标数据流中添加维度映射和 metrics_fingerprint 字段。

8.12.0 或更高版本

2.32.0

增强 (查看拉取请求)
添加新的计费数据流字段。

8.12.0 或更高版本

2.31.2

错误修复 (查看拉取请求)
修复解析具有空 rdata 字段的 DNS 日志的管道错误。

8.7.1 或更高版本

2.31.1

增强 (查看拉取请求)
添加 Cloud Run 文档并修复策略模板名称,以允许将 Cloud Run 日志添加到策略。

8.7.1 或更高版本

2.31.0

增强 (查看拉取请求)
允许用户保留其他丢弃的字段。

8.7.1 或更高版本

2.30.1

错误修复 (查看拉取请求)
修复组字段的映射

8.7.1 或更高版本

2.30.0

增强 (查看拉取请求)
添加 tags.yml 文件,以便将集成的仪表板和已保存的搜索标记为“安全解决方案”并显示在安全解决方案 UI 中。

增强 (查看拉取请求)
将软件包规范升级到 3.0.0。

错误修复 (查看拉取请求)
修复孤立的仪表板引用。

错误修复 (查看拉取请求)
添加缺失的仪表板过滤器。

8.7.1 或更高版本

2.29.1

错误修复 (查看拉取请求)
将空值检查和 ignore_missing 检查添加到重命名处理器

8.7.1 或更高版本

2.29.0

错误修复 (查看拉取请求)
删除 GCP CloudSQL 已弃用、alpha 或 beta 指标,并修复字段类型。

8.7.1 或更高版本

2.28.5

增强 (查看拉取请求)
为 GKE、负载均衡、PubSub、Redis 和存储数据流设置指标类型。

8.7.1 或更高版本

2.28.4

增强 (查看拉取请求)
将 GCP 负载均衡 HTTPS 概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.28.3

增强 (查看拉取请求)
为 Cloud Run、Compute、Dataproc 和 Firestore 数据流设置指标类型。

8.7.1 或更高版本

2.28.2

增强 (查看拉取请求)
将 GCP 负载均衡 TCP SSL 代理概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.28.1

增强 (查看拉取请求)
为 CloudSQL 数据流设置指标类型。

8.7.1 或更高版本

2.28.0

增强 (查看拉取请求)
将 GCP 负载均衡 L3 概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.27.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、SQL Server 和 PostgreSQL 仪表板。

8.7.1 或更高版本

2.26.0

错误修复 (查看拉取请求)
修复 GCP loadbalancing_metrics 字段前缀。

8.7.1 或更高版本

2.25.1

错误修复 (查看拉取请求)
修复对 gcp.audit.authorization_info[].granted 的检查。

8.7.1 或更高版本

2.25.0

增强 (查看拉取请求)
将 GCP 计费输入控件迁移到新的控制面板。

8.7.1 或更高版本

2.24.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、Postgres、SQLServer 数据流

8.7.1 或更高版本

2.23.0

增强 (查看拉取请求)
将安全仪表板转换为 Lens。

8.7.1 或更高版本

2.22.1

增强 (查看拉取请求)
更改清单中的所有权。

8.6.0 或更高版本

2.22.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.6.0 或更高版本

2.21.0

增强 (查看拉取请求)
将包更新到 ECS 8.8.0。

8.6.0 或更高版本

2.20.1

错误修复 (查看拉取请求)
修复 persistence.rdb.bgsave_in_progress 字段的无效 TSDS 指标类型

8.6.0 或更高版本

2.20.0

增强 (查看拉取请求)
将包更新到 ECS 8.7.0。

8.6.0 或更高版本

2.19.1

增强 (查看拉取请求)
将计算仪表板迁移到 Lens 并添加数据流过滤器。

8.6.0 或更高版本

2.19.0

增强 (查看拉取请求)
添加 Cloud Run 指标数据流。

8.6.0 或更高版本

2.18.0

增强 (查看拉取请求)
支持 GCP PubSub 输入的 subscription_num_goroutinessubscription_max_outstanding_messages

8.6.0 或更高版本

2.17.2

错误修复 (查看拉取请求)
修复 Audit 提取管道中的 IP 转换处理器。

8.6.0 或更高版本

2.17.1

增强 (查看拉取请求)
添加了类别和/或子类别。

8.6.0 或更高版本

2.17.0

增强 (查看拉取请求)
添加审计日志概览仪表板

增强 (查看拉取请求)
添加 GKE 概览仪表板

增强 (查看拉取请求)
添加 PubSub 概览仪表板

增强 (查看拉取请求)
添加存储概览仪表板

8.6.0 或更高版本

2.16.2

错误修复 (查看拉取请求)
添加逻辑以处理审计中请求.策略的标量值

8.5.0 或更高版本

2.16.1

错误修复 (查看拉取请求)
将缺失的输入控制面板替换为新样式的控件。

8.5.0 或更高版本

2.16.0

增强 (查看拉取请求)
将包更新到 ECS 8.6.0。

8.5.0 或更高版本

2.15.2

增强 (查看拉取请求)
更新文档。

8.5.0 或更高版本

2.15.1

增强 (查看拉取请求)
添加 GCP 计算管道测试。

8.5.0 或更高版本

2.15.0

增强 (查看拉取请求)
删除对 Kibana 7.17.x 的支持

增强 (查看拉取请求)
支持指标数据流的多个区域

8.5.0 或更高版本

2.14.0

增强 (查看拉取请求)
将包更新到 ECS 8.5.0。

8.3.0 或更高版本

2.13.0

增强 (查看拉取请求)
按值迁移仪表板

8.3.0 或更高版本

2.12.1

错误修复 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.12.0

增强 (查看拉取请求)
添加 GCP Redis

7.17.6 或更高版本
8.3.0 或更高版本

2.11.12

错误修复 (查看拉取请求)
添加 GKE 提取管道。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.11

错误修复 (查看拉取请求)
修复 dns.answers.ttl 的类型。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10

增强 (查看拉取请求)
添加 dataproc 的提取管道。

增强 (查看拉取请求)
添加 GCP 负载均衡提取管道

增强 (查看拉取请求)
添加 GCP PubSub 提取管道

增强 (查看拉取请求)
添加 GCP 存储提取管道

增强 (查看拉取请求)
添加 GCP Firestore 提取管道

增强 (查看拉取请求)
添加 GCP 计算提取管道

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10-beta.6

增强 (查看拉取请求)
添加 dataproc 的提取管道。

2.11.10-beta.5

增强 (查看拉取请求)
添加 GCP 负载均衡提取管道

2.11.10-beta.4

增强 (查看拉取请求)
添加 GCP PubSub 提取管道

2.11.10-beta.3

增强 (查看拉取请求)
添加 GCP 存储提取管道

2.11.10-beta.2

增强 (查看拉取请求)
添加 GCP Firestore 提取管道

2.11.10-beta.1

增强 (查看拉取请求)
添加 GCP 计算提取管道

2.11.9

错误修复 (查看拉取请求)
修复 GKE kubernetes.io 缩进。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.8

增强 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.7

增强 (查看拉取请求)
将 Dataproc 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.6

增强 (查看拉取请求)
将负载均衡轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.5

增强 (查看拉取请求)
将存储轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.4

增强 (查看拉取请求)
将 PubSub 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.3

增强 (查看拉取请求)
将 GKE 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.2

增强 (查看拉取请求)
将 Firestore 轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.11.1

增强 (查看拉取请求)
使用 ECS geo.location 定义。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.0

增强 (查看拉取请求)
将计算轻量级模块配置移至集成

7.17.6 或更高版本
8.3.0 或更高版本

2.10.0

增强 (查看拉取请求)
添加 GCP PubSub 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.9.0

增强 (查看拉取请求)
添加 GCP Dataproc 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.8.0

增强 (查看拉取请求)
添加 GCP GKE 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.7.0

增强 (查看拉取请求)
添加 GCP 存储数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.6.0

增强 (查看拉取请求)
添加负载均衡日志数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.5.0

增强 (查看拉取请求)
添加 GCP 负载均衡指标集

Bug 修复 (查看拉取请求)
修复 loadbalancing_metrics 中 credentials_json 的转义问题

Bug 修复 (查看拉取请求)
更新 loadbalancing_metrics 的默认周期为 60 秒

Bug 修复 (查看拉取请求)
修复 loadbalancing_metrics 的 event.dataset

增强 (查看拉取请求)
添加 loadbalancing_metrics 分布字段

7.17.6 或更高版本
8.3.0 或更高版本

2.4.0

增强 (查看拉取请求)
将包更新至 ECS 8.4.0

7.17.6 或更高版本
8.3.0 或更高版本

2.3.0

增强 (查看拉取请求)
为 DNS 公共区域查询日志添加额外解析

7.17.6 或更高版本
8.3.0 或更高版本

2.2.1

增强 (查看拉取请求)
修复 gcp.compute 的计费策略模板标题和默认周期

7.17.6 或更高版本
8.3.0 或更高版本

2.2.0

增强 (查看拉取请求)
删除 ECS 字段中重复的字段

7.17.6 或更高版本
8.3.0 或更高版本

2.1.0

增强 (foobar[查看拉取请求])
恢复与 7.17 发布版本的兼容性

7.17.6 或更高版本
8.3.0 或更高版本

2.0.0

重大更改 (查看拉取请求)
移动配置以支持指标。此更改具有破坏性,因为它将一些配置从顶级变量移动到数据流变量。

此更改涉及 project_idcredentials_filecredentials_json 变量,这些变量已从输入级别的配置移动到包级别的配置(因为这些变量在所有输入/数据流中重复使用)。

启用 GCP 集成的用户在将策略升级到此版本时需要再次输入这些变量的值。

增强 (查看拉取请求)
添加 GCP 计费数据流

增强 (查看拉取请求)
添加 GCP 计算数据流

增强 (查看拉取请求)
添加 GCP Firestore 数据流

8.3.0 或更高版本

1.10.0

增强 (查看拉取请求)
将包更新至 ECS 8.3.0。

7.17.0 或更高版本
8.0.0 或更高版本

1.9.2

Bug 修复 (查看拉取请求)
修复 GCP 审计日志响应状态的解析问题

7.17.0 或更高版本
8.0.0 或更高版本

1.9.1

增强 (查看拉取请求)
更新自述文件

7.17.0 或更高版本
8.0.0 或更高版本

1.9.0

增强 (查看拉取请求)
保留扁平化字段中的请求和响应。

7.17.0 或更高版本
8.0.0 或更高版本

1.8.0

增强 (查看拉取请求)
添加缺失的 cloud.provider 字段。

7.17.0 或更高版本
8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
为防火墙和 vpc 流日志添加仪表板。

Bug 修复 (查看拉取请求)
为多个 event.* 字段添加缺失的映射。

1.6.1

增强 (查看拉取请求)
阐明 Pub/Sub 输入所需的 GCP 权限。

7.16.3 或更高版本
8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
更新至 ECS 8.2

1.5.1

增强 (查看拉取请求)
添加多字段的文档

7.16.3 或更高版本
8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
改进 Google Cloud Platform 文档。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.2

Bug 修复 (查看拉取请求)
删除空值、仅包含点的名称以及无效的客户端 IP。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.1

Bug 修复 (查看拉取请求)
修复策略模板中 credentials_json 值的引用。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
添加 gcp.dns 集成

1.3.1

Bug 修复 (查看拉取请求)
添加 Ingest Pipeline 脚本以映射 IANA 协议编号

7.15.0 或更高版本
8.0.0 或更高版本

1.3.0

增强 (查看拉取请求)
更新至 ECS 8.0

7.15.0 或更高版本
8.0.0 或更高版本

1.2.2

Bug 修复 (查看拉取请求)
使用新的 GeoIP 数据库重新生成测试文件

7.15.0 或更高版本
8.0.0 或更高版本

1.2.1

Bug 修复 (查看拉取请求)
将测试公共 IP 更改为支持的子集

1.2.0

增强 (查看拉取请求)
添加 8.0.0 版本约束

7.15.0 或更高版本
8.0.0 或更高版本

1.1.2

增强 (查看拉取请求)
更新标题和描述。

7.15.0 或更高版本

1.1.1

Bug 修复 (查看拉取请求)
修复检查 forwarded 标签的逻辑

1.1.0

增强 (查看拉取请求)
更新至 ECS 1.12.0

7.15.0 或更高版本

1.0.0

增强 (查看拉取请求)
从实验性变为正式发布

增强 (查看拉取请求)
从 data_sets 中删除 experimental

0.3.3

增强 (查看拉取请求)
转换为生成的 ECS 字段

0.3.2

增强 (查看拉取请求)
更新至 ECS 1.11.0

0.3.1

增强 (查看拉取请求)
转义文档中的特殊字符

0.3.0

增强 (查看拉取请求)
更新集成描述

0.2.0

增强 (查看拉取请求)
设置 “event.module” 和 “event.dataset”

0.1.0

增强 (查看拉取请求)
更新至 ECS 1.10.0 并添加 event.original 选项

0.0.2

增强 (查看拉取请求)
更新至 ECS 1.9.0

0.0.1

增强 (查看拉取请求)
初始版本