« CloudSQL Dataproc »
Elastic 文档 ›Elastic 集成 ›Google Cloud

计算

编辑

计算

编辑

版本

2.39.0 ( 查看全部 )

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全性
可观测性

订阅级别
这是什么？

基本

指标

编辑

compute 数据集旨在获取 Google Cloud Platform 中 Compute Engine 虚拟机 的指标。它包含从 GCP Cloud Monitoring API 导出的所有指标。

额外标签和元数据也使用 Compute API 提取。这足以获取与指标相关的大部分信息，例如 Compute 标签和元数据以及特定于指标的标签。

示例事件

编辑
示例

compute 的示例事件如下所示

{
    "@timestamp": "2017-10-12T08:05:34.853Z",
    "cloud": {
        "account": {
            "id": "elastic-obs-integrations-dev",
            "name": "elastic-obs-integrations-dev"
        },
        "instance": {
            "id": "4751091017865185079",
            "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
        },
        "machine": {
            "type": "e2-medium"
        },
        "provider": "gcp",
        "availability_zone": "us-central1-c",
        "region": "us-central1"
    },
    "event": {
        "dataset": "gcp.compute",
        "duration": 115000,
        "module": "gcp"
    },
    "gcp": {
        "compute": {
            "firewall": {
                "dropped": {
                    "bytes": 421
                },
                "dropped_packets_count": {
                    "value": 4
                }
            },
            "instance": {
                "cpu": {
                    "reserved_cores": {
                        "value": 1
                    },
                    "usage": {
                        "pct": 0.07259952346383708
                    },
                    "usage_time": {
                        "sec": 4.355971407830225
                    }
                },
                "memory": {
                    "balloon": {
                        "ram_size": {
                            "value": 4128378880
                        },
                        "ram_used": {
                            "value": 2190848000
                        },
                        "swap_in": {
                            "bytes": 0
                        },
                        "swap_out": {
                            "bytes": 0
                        }
                    }
                },
                "uptime": {
                    "sec": 60.00000000000091
                }
            }
        },
        "labels": {
            "user": {
                "goog-gke-node": ""
            }
        }
    },
    "host": {
        "id": "4751091017865185079",
        "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
    },
    "metricset": {
        "name": "compute",
        "period": 10000
    },
    "service": {
        "type": "gcp"
    }
}

导出的字段

编辑

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符（如果存在）。示例：对于 Beats，这将是 beat.id。

关键词

cloud.account.id

用于在多租户环境中识别不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键词

cloud.availability_zone

此主机、资源或服务所在的可用区。

关键词

cloud.image.id

云实例的镜像 ID。

关键词

cloud.instance.id

主机机器的实例 ID。

关键词

cloud.machine.type

主机机器的机器类型。

关键词

cloud.region

此主机、资源或服务所在的区域。

关键词

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

gcp.compute.firewall.dropped.bytes

防火墙丢弃的传入字节的增量

长整型

计量

gcp.compute.firewall.dropped_packets_count.value

防火墙丢弃的传入数据包的增量

长整型

计量

gcp.compute.instance.cpu.reserved_cores.value

实例主机上保留的内核数

双精度

计量

gcp.compute.instance.cpu.usage.pct

实例上当前正在使用的已分配 CPU 的比例

双精度

计量

gcp.compute.instance.cpu.usage_time.sec

所有内核的使用量增量（以秒为单位）

双精度

计量

gcp.compute.instance.disk.read.bytes

从磁盘读取的字节数增量

长整型

计量

gcp.compute.instance.disk.read_ops_count.value

磁盘读取 IO 操作计数增量

长整型

计量

gcp.compute.instance.disk.write.bytes

写入磁盘的字节数增量

长整型

计量

gcp.compute.instance.disk.write_ops_count.value

磁盘写入 IO 操作计数增量

长整型

计量

gcp.compute.instance.memory.balloon.ram_size.value

虚拟机中的总内存量。此指标仅适用于属于 e2 系列的虚拟机。

长整型

计量

gcp.compute.instance.memory.balloon.ram_used.value

虚拟机中当前使用的内存。此指标仅适用于属于 e2 系列的虚拟机。

长整型

计量

gcp.compute.instance.memory.balloon.swap_in.bytes

从虚拟机自己的交换空间读取到虚拟机的内存量增量。此指标仅适用于属于 e2 系列的虚拟机。

长整型

计量

gcp.compute.instance.memory.balloon.swap_out.bytes

从虚拟机写入其自身交换空间的内存量增量。此指标仅适用于属于 e2 系列的虚拟机。

长整型

计量

gcp.compute.instance.network.egress.bytes

通过网络发送的字节数增量

长整型

计量

gcp.compute.instance.network.egress.packets.count

通过网络发送的数据包数增量

长整型

计量

gcp.compute.instance.network.ingress.bytes

从网络接收的字节数增量

长整型

计量

gcp.compute.instance.network.ingress.packets.count

从网络接收的数据包数增量

长整型

计量

gcp.compute.instance.uptime.sec

虚拟机已运行的秒数增量。

长整型

计量

gcp.compute.instance.uptime_total.sec

自虚拟机启动以来经过的时间，以秒为单位。每 60 秒采样一次。采样后，数据最多 120 秒内不可见。

长整型

计量

gcp.labels.metadata.*

对象

gcp.labels.metrics.*

对象

gcp.labels.resource.*

对象

gcp.labels.system.*

对象

gcp.labels.user.*

对象

gcp.labels_fingerprint

标签字段的哈希值。

关键词

gcp.metrics....

从 Google Cloud API 查询返回的指标。

对象

host.containerized

如果主机是容器化的。

布尔值

host.os.build

操作系统构建信息。

关键词

host.os.codename

操作系统代号（如果有）。

关键词

更新日志

编辑
更新日志
版本 详情 Kibana 版本

2.39.0

增强功能 ( 查看拉取请求 )
向审计日志添加 related.entity 字段。

8.13.0 或更高版本

2.38.0

增强功能 ( 查看拉取请求 )
向审计日志添加 policy_violation_info、metadata 和 related 字段。

错误修复 ( 查看拉取请求 )
更新 GCP 审计日志仪表板以使用正确的 email 字段。

8.13.0 或更高版本

2.37.2

错误修复 ( 查看拉取请求 )
修复嵌套对象子字段的定义

8.13.0 或更高版本

2.37.1

增强功能 ( 查看拉取请求 )
改进 GCP 结算文档。

8.13.0 或更高版本

2.37.0

增强功能 ( 查看拉取请求 )
保留 authenticationInfo.serviceAccountKeyName 数据。

8.13.0 或更高版本

2.36.0

增强功能 ( 查看拉取请求 )
添加仪表板的全局数据集筛选器以提高性能。

8.13.0 或更高版本

2.35.0

增强功能 ( 查看拉取请求 )
ECS 版本已更新至 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板导致冗余的 ECS 字段。

8.13.0 或更高版本

2.34.1

错误修复 ( 查看拉取请求 )
修复 persistence.rdb.bgsave_in_progress 的 Redis 指标类型。指标类型应为布尔值而不是长整型。

8.12.0 或更高版本

2.34.0

增强功能 ( 查看拉取请求 )
向 GCP Compute、Firestore、PostgreSQL 添加标签和处理器。

8.12.0 或更高版本

2.33.2

增强功能 ( 查看拉取请求 )
向 GCP Storage 添加标签和处理器

8.12.0 或更高版本

2.33.1

增强功能 ( 查看拉取请求 )
在 GCP 结算概览仪表板中将旧版指标可视化更新为新指标。

8.12.0 或更高版本

2.33.0

增强功能 ( 查看拉取请求 )
为指标数据流启用时间序列数据。这大大减少了指标的存储空间，并有望逐步提高查询 [性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息，请参阅 https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html。

8.12.0 或更高版本

2.32.1

增强功能 ( 查看拉取请求 )
在所有指标数据流中添加维度映射和 metrics_fingerprint 字段。

8.12.0 或更高版本

2.32.0

增强功能 ( 查看拉取请求 )
添加新的结算数据流字段。

8.12.0 或更高版本

2.31.2

错误修复 ( 查看拉取请求 )
修复解析具有空 rdata 字段的 DNS 日志时发生的管道错误。

8.7.1 或更高版本

2.31.1

增强功能 ( 查看拉取请求 )
添加 Cloud Run 文档并修复策略模板名称，以允许向策略添加 Cloud Run 日志。

8.7.1 或更高版本

2.31.0

增强功能 ( 查看拉取请求 )
允许用户保留其他被丢弃的字段。

8.7.1 或更高版本

2.30.1

错误修复 ( 查看拉取请求 )
修复组字段的映射

8.7.1 或更高版本

2.30.0

增强功能 ( 查看拉取请求 )
添加 tags.yml 文件，以便使用“安全解决方案”标记集成的仪表板和已保存的搜索，并在安全解决方案 UI 中显示。

增强功能 ( 查看拉取请求 )
将包规范升级到 3.0.0。

错误修复 ( 查看拉取请求 )
修复孤立的仪表板引用。

错误修复 ( 查看拉取请求 )
添加缺少的仪表板筛选器。

8.7.1 或更高版本

2.29.1

错误修复 ( 查看拉取请求 )
向重命名处理器添加 null 检查和 ignore_missing 检查

8.7.1 或更高版本

2.29.0

错误修复 ( 查看拉取请求 )
删除 GCP CloudSQL 已弃用、alpha 或 beta 指标并修复字段类型。

8.7.1 或更高版本

2.28.5

增强功能 ( 查看拉取请求 )
为 GKE、负载均衡、PubSub、Redis 和存储数据流设置指标类型。

8.7.1 或更高版本

2.28.4

增强 (查看拉取请求)
将 GCP 负载均衡 HTTPS 概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.28.3

增强 (查看拉取请求)
为 Cloud Run、Compute、Dataproc 和 Firestore 数据流设置指标类型。

8.7.1 或更高版本

2.28.2

增强 (查看拉取请求)
将 GCP 负载均衡 TCP SSL 代理概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.28.1

增强 (查看拉取请求)
为 CloudSQL 数据流设置指标类型。

8.7.1 或更高版本

2.28.0

增强 (查看拉取请求)
将 GCP 负载均衡 L3 概览仪表板迁移到 Lens。

8.7.1 或更高版本

2.27.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、SQL Server 和 PostgreSQL 仪表板。

8.7.1 或更高版本

2.26.0

缺陷修复 (查看拉取请求)
修复 GCP loadbalancing_metrics 字段前缀。

8.7.1 或更高版本

2.25.1

缺陷修复 (查看拉取请求)
修复对 gcp.audit.authorization_info[].granted 的检查。

8.7.1 或更高版本

2.25.0

增强 (查看拉取请求)
将 GCP 账单输入控件迁移到新的控制面板。

8.7.1 或更高版本

2.24.0

增强 (查看拉取请求)
添加 GCP CloudSQL MySQL、Postgres、SQLServer 数据流

8.7.1 或更高版本

2.23.0

增强 (查看拉取请求)
将安全仪表板转换为 Lens。

8.7.1 或更高版本

2.22.1

增强 (查看拉取请求)
更改清单中的所有权。

8.6.0 或更高版本

2.22.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.6.0 或更高版本

2.21.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.8.0。

8.6.0 或更高版本

2.20.1

缺陷修复 (查看拉取请求)
修复 persistence.rdb.bgsave_in_progress 字段的无效 TSDS 指标类型

8.6.0 或更高版本

2.20.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.7.0。

8.6.0 或更高版本

2.19.1

增强 (查看拉取请求)
将计算仪表板迁移到 Lens 并添加数据流筛选器。

8.6.0 或更高版本

2.19.0

增强 (查看拉取请求)
添加 Cloud Run 指标数据流。

8.6.0 或更高版本

2.18.0

增强 (查看拉取请求)
支持 GCP PubSub 输入的 subscription_num_goroutines 和 subscription_max_outstanding_messages

8.6.0 或更高版本

2.17.2

缺陷修复 (查看拉取请求)
修复审核提取管道中的 IP 转换处理器。

8.6.0 或更高版本

2.17.1

增强 (查看拉取请求)
添加了类别和/或子类别。

8.6.0 或更高版本

2.17.0

增强 (查看拉取请求)
添加审核日志概览仪表板

增强 (查看拉取请求)
添加 GKE 概览仪表板

增强 (查看拉取请求)
添加 PubSub 概览仪表板

增强 (查看拉取请求)
添加存储概览仪表板

8.6.0 或更高版本

2.16.2

缺陷修复 (查看拉取请求)
添加逻辑以处理审核中的标量 request.policy 值

8.5.0 或更高版本

2.16.1

缺陷修复 (查看拉取请求)
将丢失的输入控制面板替换为新样式控件。

8.5.0 或更高版本

2.16.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.6.0。

8.5.0 或更高版本

2.15.2

增强 (查看拉取请求)
更新文档。

8.5.0 或更高版本

2.15.1

增强 (查看拉取请求)
添加 GCP 计算管道测试。

8.5.0 或更高版本

2.15.0

增强 (查看拉取请求)
删除对 Kibana 7.17.x 的支持

增强 (查看拉取请求)
支持指标数据流的多个区域

8.5.0 或更高版本

2.14.0

增强 (查看拉取请求)
将软件包更新到 ECS 8.5.0。

8.3.0 或更高版本

2.13.0

增强 (查看拉取请求)
按值迁移仪表板

8.3.0 或更高版本

2.12.1

缺陷修复 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.12.0

增强 (查看拉取请求)
添加 GCP Redis

7.17.6 或更高版本
8.3.0 或更高版本

2.11.12

缺陷修复 (查看拉取请求)
添加 GKE 提取管道。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.11

缺陷修复 (查看拉取请求)
修复 dns.answers.ttl 的类型。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10

增强 (查看拉取请求)
为 dataproc 添加提取管道。

增强 (查看拉取请求)
添加 GCP 负载均衡提取管道

增强 (查看拉取请求)
添加 GCP PubSub 提取管道

增强 (查看拉取请求)
添加 GCP 存储提取管道

增强 (查看拉取请求)
添加 GCP Firestore 提取管道

增强 (查看拉取请求)
添加 GCP 计算提取管道

7.17.6 或更高版本
8.3.0 或更高版本

2.11.10-beta.6

增强 (查看拉取请求)
为 dataproc 添加提取管道。

—

2.11.10-beta.5

增强 (查看拉取请求)
添加 GCP 负载均衡提取管道

—

2.11.10-beta.4

增强 (查看拉取请求)
添加 GCP PubSub 提取管道

—

2.11.10-beta.3

增强 (查看拉取请求)
添加 GCP 存储提取管道

—

2.11.10-beta.2

增强 (查看拉取请求)
添加 GCP Firestore 提取管道

—

2.11.10-beta.1

增强 (查看拉取请求)
添加 GCP 计算提取管道

—

2.11.9

缺陷修复 (查看拉取请求)
修复 GKE kubernetes.io 缩进。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.8

增强 (查看拉取请求)
删除重复字段。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.7

增强 (查看拉取请求)
将 Dataproc 轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.6

增强 (查看拉取请求)
将负载均衡轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.5

增强 (查看拉取请求)
将存储轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.4

增强 (查看拉取请求)
将 PubSub 轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.3

增强 (查看拉取请求)
将 GKE 轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.2

增强 (查看拉取请求)
将 Firestore 轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.11.1

增强 (查看拉取请求)
使用 ECS geo.location 定义。

7.17.6 或更高版本
8.3.0 或更高版本

2.11.0

增强 (查看拉取请求)
将计算轻量级模块配置移到集成中

7.17.6 或更高版本
8.3.0 或更高版本

2.10.0

增强 (查看拉取请求)
添加 GCP PubSub 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.9.0

增强 (查看拉取请求)
添加 GCP Dataproc 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.8.0

增强 (查看拉取请求)
添加 GCP GKE 数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.7.0

增强 (查看拉取请求)
添加 GCP 存储数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.6.0

增强 (查看拉取请求)
添加负载均衡日志数据流

7.17.6 或更高版本
8.3.0 或更高版本

2.5.0

增强 (查看拉取请求)
添加 GCP 负载均衡指标集

缺陷修复 (查看拉取请求)
修复 loadbalancing_metrics 中的 credentials_json 转义

缺陷修复 (查看拉取请求)
将 loadbalancing_metrics 默认周期更新为 60 秒

缺陷修复 (查看拉取请求)
修复 loadbalancing_metrics 的 event.dataset

增强 (查看拉取请求)
添加 loadbalancing_metrics 分布字段

7.17.6 或更高版本
8.3.0 或更高版本

2.4.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.4.0

7.17.6 或更高版本
8.3.0 或更高版本

2.3.0

增强 (查看拉取请求)
为 DNS 公共区域查询日志添加额外解析

7.17.6 或更高版本
8.3.0 或更高版本

2.2.1

增强 (查看拉取请求)
修复 gcp.compute 的计费策略模板标题和默认周期

7.17.6 或更高版本
8.3.0 或更高版本

2.2.0

增强 (查看拉取请求)
删除 ECS 字段中重复的字段

7.17.6 或更高版本
8.3.0 或更高版本

2.1.0

增强 (foobar[查看拉取请求])
恢复与 7.17 发布版本的兼容性

7.17.6 或更高版本
8.3.0 或更高版本

2.0.0

重大更改 (查看拉取请求)
移动配置以支持指标。此更改是重大更改，因为它将一些配置从顶级变量移动到数据流变量。

此更改涉及 project_id、credentials_file 和 credentials_json 变量，这些变量从输入级别配置移动到包级别配置（因为这些变量在所有输入/数据流中重复使用）。

启用 GCP 集成的用户在将策略升级到此版本时，需要再次输入这些变量的值。

增强 (查看拉取请求)
添加 GCP 计费数据流

增强 (查看拉取请求)
添加 GCP 计算数据流

增强 (查看拉取请求)
添加 GCP Firestore 数据流

8.3.0 或更高版本

1.10.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.3.0。

7.17.0 或更高版本
8.0.0 或更高版本

1.9.2

错误修复 (查看拉取请求)
修复 GCP 审计日志在响应状态上的解析问题

7.17.0 或更高版本
8.0.0 或更高版本

1.9.1

增强 (查看拉取请求)
更新自述文件

7.17.0 或更高版本
8.0.0 或更高版本

1.9.0

增强 (查看拉取请求)
保留扁平化字段中的请求和响应。

7.17.0 或更高版本
8.0.0 或更高版本

1.8.0

增强 (查看拉取请求)
添加缺失的 cloud.provider 字段。

7.17.0 或更高版本
8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
为防火墙和 vpc 流日志添加仪表板。

错误修复 (查看拉取请求)
为几个 event.* 字段添加缺失的映射。

—

1.6.1

增强 (查看拉取请求)
阐明 Pub/Sub 输入所需的 GCP 权限。

7.16.3 或更高版本
8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
更新至 ECS 8.2

—

1.5.1

增强 (查看拉取请求)
为多字段添加文档

7.16.3 或更高版本
8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
改进 Google Cloud Platform 文档。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.2

错误修复 (查看拉取请求)
删除空值、仅包含点的名称以及无效的客户端 IP。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.1

错误修复 (查看拉取请求)
修复策略模板中 credentials_json 值的引用。

7.16.3 或更高版本
8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
添加 gcp.dns 集成

—

1.3.1

错误修复 (查看拉取请求)
添加 Ingest Pipeline 脚本以映射 IANA 协议号

7.15.0 或更高版本
8.0.0 或更高版本

1.3.0

增强 (查看拉取请求)
更新至 ECS 8.0

7.15.0 或更高版本
8.0.0 或更高版本

1.2.2

错误修复 (查看拉取请求)
使用新的 GeoIP 数据库重新生成测试文件

7.15.0 或更高版本
8.0.0 或更高版本

1.2.1

错误修复 (查看拉取请求)
将测试公共 IP 更改为支持的子集

—

1.2.0

增强 (查看拉取请求)
添加 8.0.0 版本约束

7.15.0 或更高版本
8.0.0 或更高版本

1.1.2

增强 (查看拉取请求)
更新标题和描述。

7.15.0 或更高版本

1.1.1

错误修复 (查看拉取请求)
修复检查 forwarded 标记的逻辑

—

1.1.0

增强 (查看拉取请求)
更新至 ECS 1.12.0

7.15.0 或更高版本

1.0.0

增强 (查看拉取请求)
从实验性版本转移到 GA 版本

增强 (查看拉取请求)
从 data_sets 中删除 experimental

—

0.3.3

增强 (查看拉取请求)
转换为生成的 ECS 字段

—

0.3.2

增强 (查看拉取请求)
更新至 ECS 1.11.0

—

0.3.1

增强 (查看拉取请求)
转义文档中的特殊字符

—

0.3.0

增强 (查看拉取请求)
更新集成描述

—

0.2.0

增强 (查看拉取请求)
设置 "event.module" 和 "event.dataset"

—

0.1.0

增强 (查看拉取请求)
更新至 ECS 1.10.0 并添加 event.original 选项

—

0.0.2

增强 (查看拉取请求)
更新至 ECS 1.9.0

—

0.0.1

增强 (查看拉取请求)
初始版本

—
« CloudSQL Dataproc »