› ›

Dataproc

版本	2.39.0 (查看全部)
兼容的 Kibana 版本	8.13.0 或更高版本
支持的无服务器项目类型这是什么？	安全性可观测性
订阅级别这是什么？	基本

指标

编辑

dataproc 数据集从 Google Cloud Platform 中的 Dataproc 获取指标。它包含从 GCP Dataproc Monitoring API 导出的所有指标。

您可以指定一个区域来获取指标，例如 us-central1。请注意，GCP Dataproc 是一项区域性服务。如果未指定区域，它将返回所有存储桶的指标。

示例事件

编辑

示例

dataproc 的一个示例事件如下所示

{
    "@timestamp": "2017-10-12T08:05:34.853Z",
    "cloud": {
        "account": {
            "id": "elastic-obs-integrations-dev",
            "name": "elastic-obs-integrations-dev"
        },
        "instance": {
            "id": "4751091017865185079",
            "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
        },
        "machine": {
            "type": "e2-medium"
        },
        "provider": "gcp",
        "availability_zone": "us-central1-c",
        "region": "us-central1"
    },
    "event": {
        "dataset": "gcp.dataproc",
        "duration": 115000,
        "module": "gcp"
    },
    "gcp": {
        "dataproc": {
            "cluster": {
                "hdfs": {
                    "datanodes": {
                        "count": 15
                    }
                }
            }
        },
        "labels": {
            "user": {
                "goog-gke-node": ""
            }
        }
    },
    "host": {
        "id": "4751091017865185079",
        "name": "gke-cluster-1-default-pool-6617a8aa-5clh"
    },
    "metricset": {
        "name": "dataproc",
        "period": 10000
    },
    "service": {
        "type": "gcp"
    }
}

导出的字段

编辑

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段

字段	描述	类型	指标类型
@timestamp	事件时间戳。	日期
agent.id	此代理的唯一标识符（如果存在）。例如：对于 Beats，这将是 beat.id。	关键词
cloud.account.id	用于在多租户环境中标识不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。	关键词
cloud.image.id	云实例的镜像 ID。	关键词
data_stream.dataset	数据流数据集。	常量关键词
data_stream.namespace	数据流命名空间。	常量关键词
data_stream.type	数据流类型。	常量关键词
event.dataset	事件数据集	常量关键词
event.module	事件模块	常量关键词
gcp.dataproc.batch.spark.executors.count	表示 Batch Spark 执行器的数量。	长整型	计量
gcp.dataproc.cluster.hdfs.datanodes.count	表示集群内正在运行的 HDFS 数据节点的数量。	长整型	计量
gcp.dataproc.cluster.hdfs.storage_capacity.value	表示集群上运行的 HDFS 系统的容量，单位为 GB。	双精度浮点型	计量
gcp.dataproc.cluster.hdfs.storage_utilization.value	当前使用的 HDFS 存储百分比。	双精度浮点型	计量
gcp.dataproc.cluster.hdfs.unhealthy_blocks.count	表示集群内不健康块的数量。	长整型	计量
gcp.dataproc.cluster.job.completion_time.value	从用户提交作业到 Dataproc 报告作业完成所花费的时间。	对象
gcp.dataproc.cluster.job.duration.value	作业处于给定状态所花费的时间。	对象
gcp.dataproc.cluster.job.failed.count	表示集群上失败的作业数量的增量。	长整型	计量
gcp.dataproc.cluster.job.running.count	表示集群上正在运行的作业数量。	长整型	计量
gcp.dataproc.cluster.job.submitted.count	表示已提交到集群的作业数量的增量。	长整型	计量
gcp.dataproc.cluster.operation.completion_time.value	从用户提交操作到 Dataproc 报告操作完成所花费的时间。	对象
gcp.dataproc.cluster.operation.duration.value	操作处于给定状态所花费的时间。	对象
gcp.dataproc.cluster.operation.failed.count	表示集群上失败的操作数量的增量。	长整型	计量
gcp.dataproc.cluster.operation.running.count	表示集群上正在运行的操作数量。	长整型	计量
gcp.dataproc.cluster.operation.submitted.count	表示已提交到集群的操作数量的增量。	长整型	计量
gcp.dataproc.cluster.yarn.allocated_memory_percentage.value	已分配的 YARN 内存百分比。	双精度浮点型	计量
gcp.dataproc.cluster.yarn.apps.count	表示活动的 YARN 应用程序的数量。	长整型	计量
gcp.dataproc.cluster.yarn.containers.count	表示 YARN 容器的数量。	长整型	计量
gcp.dataproc.cluster.yarn.memory_size.value	表示 YARN 内存大小，单位为 GB。	双精度浮点型	计量
gcp.dataproc.cluster.yarn.nodemanagers.count	表示集群内正在运行的 YARN NodeManager 的数量。	长整型	计量
gcp.dataproc.cluster.yarn.pending_memory_size.value	当前等待调度程序满足的内存请求，单位为 GB。	双精度浮点型	计量
gcp.dataproc.cluster.yarn.virtual_cores.count	表示 YARN 中的虚拟核心数量。	长整型	计量
gcp.labels.metadata.*		对象
gcp.labels.metrics.*		对象
gcp.labels.resource.*		对象
gcp.labels.system.*		对象
gcp.labels.user.*		对象
gcp.labels_fingerprint	labels 字段的哈希值。	关键词
gcp.metrics....	从 Google Cloud API 查询返回的指标。	对象
host.containerized	主机是否为容器。	布尔值
host.os.build	操作系统构建信息。	关键词
host.os.codename	操作系统代号（如果有）。	关键词

更新日志

编辑

更新日志

版本	详细信息	Kibana 版本
2.39.0	增强 (查看拉取请求) 将 `related.entity` 字段添加到审计日志。	8.13.0 或更高版本
2.38.0	增强 (查看拉取请求) 将 `policy_violation_info`、`metadata` 和 `related` 字段添加到审计日志。错误修复 (查看拉取请求) 更新 GCP 审计日志仪表板以使用正确的 `email` 字段。	8.13.0 或更高版本
2.37.2	错误修复 (查看拉取请求) 修复嵌套对象子字段的定义	8.13.0 或更高版本
2.37.1	增强 (查看拉取请求) 改进 GCP 账单文档。	8.13.0 或更高版本
2.37.0	增强 (查看拉取请求) 保留 `authenticationInfo.serviceAccountKeyName` 数据。	8.13.0 或更高版本
2.36.0	增强 (查看拉取请求) 为仪表板添加全局数据集筛选器以提高性能。	8.13.0 或更高版本
2.35.0	增强 (查看拉取请求) ECS 版本更新至 8.11.0。将 kibana 约束更新至 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板使之变得冗余的 ECS 字段。	8.13.0 或更高版本
2.34.1	错误修复 (查看拉取请求) 修复 persistence.rdb.bgsave_in_progress 的 Redis 指标类型。指标类型应为布尔值而不是长整型。	8.12.0 或更高版本
2.34.0	增强 (查看拉取请求) 向 GCP Compute、Firestore、PostgreSQL 添加标签和处理器。	8.12.0 或更高版本
2.33.2	增强 (查看拉取请求) 向 GCP Storage 添加标签和处理器	8.12.0 或更高版本
2.33.1	增强 (查看拉取请求) 将旧版指标可视化更新为 GCP 账单概述仪表板中的新指标。	8.12.0 或更高版本
2.33.0	增强 (查看拉取请求) 为指标数据流启用时间序列数据。这大大减少了指标的存储空间，并有望逐步提高查询[性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息，请参阅https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html。	8.12.0 或更高版本
2.32.1	增强 (查看拉取请求) 在所有指标数据流中添加维度映射和 metrics_fingerprint 字段。	8.12.0 或更高版本
2.32.0	增强 (查看拉取请求) 添加新的账单数据流字段。	8.12.0 或更高版本
2.31.2	错误修复 (查看拉取请求) 修复解析具有空 rdata 字段的 DNS 日志的管道错误。	8.7.1 或更高版本
2.31.1	增强 (查看拉取请求) 添加 Cloud Run 文档并修复策略模板名称，以允许将 Cloud Run 日志添加到策略中。	8.7.1 或更高版本
2.31.0	增强 (查看拉取请求) 允许用户保留其他已丢弃的字段。	8.7.1 或更高版本
2.30.1	缺陷修复 (查看拉取请求) 修复组字段的映射	8.7.1 或更高版本
2.30.0	增强 (查看拉取请求) 添加 tags.yml 文件，以便集成的仪表板和保存的搜索都带有“安全解决方案”标签，并在安全解决方案 UI 中显示。增强 (查看拉取请求) 将包规范升级到 3.0.0。缺陷修复 (查看拉取请求) 修复孤立的仪表板引用。缺陷修复 (查看拉取请求) 添加缺少的仪表板过滤器。	8.7.1 或更高版本
2.29.1	缺陷修复 (查看拉取请求) 向重命名处理器添加空值检查和 ignore_missing 检查	8.7.1 或更高版本
2.29.0	缺陷修复 (查看拉取请求) 删除 GCP CloudSQL 已弃用、alpha 或 beta 指标，并修复字段类型。	8.7.1 或更高版本
2.28.5	增强 (查看拉取请求) 为 GKE、负载均衡、PubSub、Redis 和存储数据流设置指标类型。	8.7.1 或更高版本
2.28.4	增强 (查看拉取请求) 将 GCP 负载均衡 HTTPS 概述仪表板迁移到 lens。	8.7.1 或更高版本
2.28.3	增强 (查看拉取请求) 为 Cloud Run、Compute、Dataproc 和 Firestore 数据流设置指标类型。	8.7.1 或更高版本
2.28.2	增强 (查看拉取请求) 将 GCP 负载均衡 TCP SSL 代理概述仪表板迁移到 lens。	8.7.1 或更高版本
2.28.1	增强 (查看拉取请求) 为 CloudSQL 数据流设置指标类型。	8.7.1 或更高版本
2.28.0	增强 (查看拉取请求) 将 GCP 负载均衡 L3 概述仪表板迁移到 lens。	8.7.1 或更高版本
2.27.0	增强 (查看拉取请求) 添加 GCP CloudSQL MySQL、SQL Server 和 PostgreSQL 仪表板。	8.7.1 或更高版本
2.26.0	缺陷修复 (查看拉取请求) 修复 GCP loadbalancing_metrics 字段前缀。	8.7.1 或更高版本
2.25.1	缺陷修复 (查看拉取请求) 修复对 gcp.audit.authorization_info[].granted 的检查。	8.7.1 或更高版本
2.25.0	增强 (查看拉取请求) 将 GCP 计费输入控件迁移到新的控制面板。	8.7.1 或更高版本
2.24.0	增强 (查看拉取请求) 添加 GCP CloudSQL MySQL、Postgres、SQLServer 数据流	8.7.1 或更高版本
2.23.0	增强 (查看拉取请求) 将安全仪表板转换为 lens。	8.7.1 或更高版本
2.22.1	增强 (查看拉取请求) 更改清单中的所有权。	8.6.0 或更高版本
2.22.0	增强 (查看拉取请求) 确保为管道错误正确设置 event.kind。	8.6.0 或更高版本
2.21.0	增强 (查看拉取请求) 将包更新到 ECS 8.8.0。	8.6.0 或更高版本
2.20.1	缺陷修复 (查看拉取请求) 修复 persistence.rdb.bgsave_in_progress 字段的无效 TSDS 指标类型	8.6.0 或更高版本
2.20.0	增强 (查看拉取请求) 将包更新到 ECS 8.7.0。	8.6.0 或更高版本
2.19.1	增强 (查看拉取请求) 将计算仪表板迁移到 lens 并添加数据流过滤器。	8.6.0 或更高版本
2.19.0	增强 (查看拉取请求) 添加 Cloud Run 指标数据流。	8.6.0 或更高版本
2.18.0	增强 (查看拉取请求) 为 GCP PubSub 输入支持 `subscription_num_goroutines` 和 `subscription_max_outstanding_messages`	8.6.0 或更高版本
2.17.2	缺陷修复 (查看拉取请求) 修复审计摄取管道中的 IP 转换处理器。	8.6.0 或更高版本
2.17.1	增强 (查看拉取请求) 添加了类别和/或子类别。	8.6.0 或更高版本
2.17.0	增强 (查看拉取请求) 添加审计日志概述仪表板增强 (查看拉取请求) 添加 GKE 概述仪表板增强 (查看拉取请求) 添加 PubSub 概述仪表板增强 (查看拉取请求) 添加存储概述仪表板	8.6.0 或更高版本
2.16.2	缺陷修复 (查看拉取请求) 添加逻辑以处理审计中请求.策略的标量值	8.5.0 或更高版本
2.16.1	缺陷修复 (查看拉取请求) 将缺少的输入控制面板替换为新的控制方式。	8.5.0 或更高版本
2.16.0	增强 (查看拉取请求) 将包更新到 ECS 8.6.0。	8.5.0 或更高版本
2.15.2	增强 (查看拉取请求) 更新文档。	8.5.0 或更高版本
2.15.1	增强 (查看拉取请求) 添加 GCP Compute 管道测试。	8.5.0 或更高版本
2.15.0	增强 (查看拉取请求) 删除对 Kibana 7.17.x 的支持增强 (查看拉取请求) 支持指标数据流的多个区域	8.5.0 或更高版本
2.14.0	增强 (查看拉取请求) 将包更新到 ECS 8.5.0。	8.3.0 或更高版本
2.13.0	增强 (查看拉取请求) 通过值迁移仪表板	8.3.0 或更高版本
2.12.1	缺陷修复 (查看拉取请求) 删除重复字段。	7.17.6 或更高版本 8.3.0 或更高版本
2.12.0	增强 (查看拉取请求) 添加 GCP Redis	7.17.6 或更高版本 8.3.0 或更高版本
2.11.12	缺陷修复 (查看拉取请求) 添加 GKE 摄取管道。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.11	缺陷修复 (查看拉取请求) 修复 dns.answers.ttl 的类型。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.10	增强 (查看拉取请求) 添加 dataproc 的摄取管道。增强 (查看拉取请求) 添加 GCP 负载均衡摄取管道增强 (查看拉取请求) 添加 GCP PubSub 摄取管道增强 (查看拉取请求) 添加 GCP 存储摄取管道增强 (查看拉取请求) 添加 GCP Firestore 摄取管道增强 (查看拉取请求) 添加 GCP 计算摄取管道	7.17.6 或更高版本 8.3.0 或更高版本
2.11.10-beta.6	增强 (查看拉取请求) 添加 dataproc 的摄取管道。	—
2.11.10-beta.5	增强 (查看拉取请求) 添加 GCP 负载均衡摄取管道	—
2.11.10-beta.4	增强 (查看拉取请求) 添加 GCP PubSub 摄取管道	—
2.11.10-beta.3	增强 (查看拉取请求) 添加 GCP 存储摄取管道	—
2.11.10-beta.2	增强 (查看拉取请求) 添加 GCP Firestore 摄取管道	—
2.11.10-beta.1	增强 (查看拉取请求) 添加 GCP 计算摄取管道	—
2.11.9	缺陷修复 (查看拉取请求) 修复 GKE kubernetes.io 缩进。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.8	增强 (查看拉取请求) 删除重复字段。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.7	增强 (查看拉取请求) 将 Dataproc 轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.6	增强 (查看拉取请求) 将负载均衡轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.5	增强 (查看拉取请求) 将存储轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.4	增强 (查看拉取请求) 将 PubSub 轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.3	增强 (查看拉取请求) 将 GKE 轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.2	增强 (查看拉取请求) 将 Firestore 轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.11.1	增强 (查看拉取请求) 使用 ECS geo.location 定义。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.0	增强 (查看拉取请求) 将 Compute 轻量级模块配置移至集成	7.17.6 或更高版本 8.3.0 或更高版本
2.10.0	增强 (查看拉取请求) 添加 GCP PubSub 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.9.0	增强 (查看拉取请求) 添加 GCP Dataproc 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.8.0	增强 (查看拉取请求) 添加 GCP GKE 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.7.0	增强 (查看拉取请求) 添加 GCP 存储数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.6.0	增强 (查看拉取请求) 添加负载均衡日志数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.5.0	增强 (查看拉取请求) 添加 GCP 负载均衡指标集错误修复 (查看拉取请求) 修复 loadbalancing_metrics 中 credentials_json 的转义问题错误修复 (查看拉取请求) 将 loadbalancing_metrics 的默认周期更新为 60 秒错误修复 (查看拉取请求) 修复 loadbalancing_metrics 的 event.dataset 增强 (查看拉取请求) 添加 loadbalancing_metrics 分布字段	7.17.6 或更高版本 8.3.0 或更高版本
2.4.0	增强 (查看拉取请求) 将软件包更新到 ECS 8.4.0	7.17.6 或更高版本 8.3.0 或更高版本
2.3.0	增强 (查看拉取请求) 为 DNS 公共区域查询日志添加额外的解析	7.17.6 或更高版本 8.3.0 或更高版本
2.2.1	增强 (查看拉取请求) 修复 gcp.compute 的账单策略模板标题和默认周期	7.17.6 或更高版本 8.3.0 或更高版本
2.2.0	增强 (查看拉取请求) 删除 ECS 字段中重复的字段	7.17.6 或更高版本 8.3.0 或更高版本
2.1.0	增强 (foobar[查看拉取请求]) 恢复与 7.17 版本跟踪的兼容性	7.17.6 或更高版本 8.3.0 或更高版本
2.0.0	重大更改 (查看拉取请求) 移动配置以支持指标。此更改具有破坏性，因为它将一些配置从顶级变量移动到数据流变量。此更改涉及 `project_id`、`credentials_file` 和 `credentials_json` 变量，这些变量从输入级别配置移动到软件包级别配置（因为这些变量在所有输入/数据流中重用）。启用 GCP 集成的用户在将策略升级到此版本时需要再次输入这些变量的值。增强 (查看拉取请求) 添加 GCP 账单数据流增强 (查看拉取请求) 添加 GCP Compute 数据流增强 (查看拉取请求) 添加 GCP Firestore 数据流	8.3.0 或更高版本
1.10.0	增强 (查看拉取请求) 将软件包更新到 ECS 8.3.0。	7.17.0 或更高版本 8.0.0 或更高版本
1.9.2	错误修复 (查看拉取请求) 修复 GCP 审计日志在响应状态上的解析问题	7.17.0 或更高版本 8.0.0 或更高版本
1.9.1	增强 (查看拉取请求) 更新自述文件	7.17.0 或更高版本 8.0.0 或更高版本
1.9.0	增强 (查看拉取请求) 在扁平化字段中保留请求和响应。	7.17.0 或更高版本 8.0.0 或更高版本
1.8.0	增强 (查看拉取请求) 添加缺少的 `cloud.provider` 字段。	7.17.0 或更高版本 8.0.0 或更高版本
1.7.0	增强 (查看拉取请求) 为防火墙和 VPC 流日志添加仪表板。错误修复 (查看拉取请求) 为多个 `event.*` 字段添加缺少的映射。	—
1.6.1	增强 (查看拉取请求) 阐明 Pub/Sub 输入所需的 GCP 权限。	7.16.3 或更高版本 8.0.0 或更高版本
1.6.0	增强 (查看拉取请求) 更新到 ECS 8.2	—
1.5.1	增强 (查看拉取请求) 添加多字段文档	7.16.3 或更高版本 8.0.0 或更高版本
1.5.0	增强 (查看拉取请求) 改进 Google Cloud Platform 文档。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.2	错误修复 (查看拉取请求) 删除空值、只有点的名称和无效的客户端 IP。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.1	错误修复 (查看拉取请求) 修复策略模板中 credentials_json 值的引号问题。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.0	增强 (查看拉取请求) 添加 gcp.dns 集成	—
1.3.1	错误修复 (查看拉取请求) 添加 Ingest Pipeline 脚本以映射 IANA 协议号	7.15.0 或更高版本 8.0.0 或更高版本
1.3.0	增强 (查看拉取请求) 更新到 ECS 8.0	7.15.0 或更高版本 8.0.0 或更高版本
1.2.2	错误修复 (查看拉取请求) 使用新的 GeoIP 数据库重新生成测试文件	7.15.0 或更高版本 8.0.0 或更高版本
1.2.1	错误修复 (查看拉取请求) 将测试公共 IP 更改为支持的子集	—
1.2.0	增强 (查看拉取请求) 添加 8.0.0 版本约束	7.15.0 或更高版本 8.0.0 或更高版本
1.1.2	增强 (查看拉取请求) 更新标题和描述。	7.15.0 或更高版本
1.1.1	错误修复 (查看拉取请求) 修复检查 _forwarded_ 标记的逻辑	—
1.1.0	增强 (查看拉取请求) 更新到 ECS 1.12.0	7.15.0 或更高版本
1.0.0	增强 (查看拉取请求) 从实验性移至正式版 (GA) 增强 (查看拉取请求) 从 data_sets 中删除 experimental	—
0.3.3	增强 (查看拉取请求) 转换为生成的 ECS 字段	—
0.3.2	增强 (查看拉取请求) 更新至 ECS 1.11.0	—
0.3.1	增强 (查看拉取请求) 转义文档中的特殊字符	—
0.3.0	增强 (查看拉取请求) 更新集成描述	—
0.2.0	增强 (查看拉取请求) 设置 "event.module" 和 "event.dataset"	—
0.1.0	增强 (查看拉取请求) 更新至 ECS 1.10.0 并添加 event.original 选项	—
0.0.2	增强 (查看拉取请求) 更新至 ECS 1.9.0	—
0.0.1	增强 (查看拉取请求) 初始发布	—

« 计算 DNS »