Google Cloud Platform Dataproc 指标集

编辑

Google Cloud Platform Dataproc 指标集编辑

Dataproc 指标集从 Google Cloud Platform 上的 Dataproc 中获取指标。

dataproc 指标集包含从 GCP Dataproc 监控 API 导出的所有指标。字段名称与 Beats 命名约定 一致,对其 GCP 指标名称对应项进行了一些细微的修改。

您可以指定一个区域来获取指标,例如 us-central1。请注意,GCP 存储不使用区域,因此 us-central1-a 将不返回任何内容。如果未指定区域,则会从所有存储桶中返回指标。

字段

有关指标集中每个字段的描述,请参阅 导出字段 部分。

以下是由此指标集生成的示例文档

{
    "@timestamp": "2016-05-23T08:05:34.853Z",
    "cloud": {
        "account": {
            "id": "elastic-apm"
        },
        "provider": "gcp"
    },
    "event": {
        "dataset": "gcp.dataproc",
        "duration": 115000,
        "module": "gcp"
    },
    "gcp": {
        "labels": {
            "metrics": {
                "storage_class": "MULTI_REGIONAL"
            },
            "resource": {
                "bucket_name": "artifacts.elastic-apm.appspot.com",
                "location": "us"
            }
        },
        "dataproc": {
            "cluster": {
                "hdfs": {
                    "datanodes": {
                        "value": 15
                    }
                }
            }
        }
    },
    "metricset": {
        "name": "dataproc",
        "period": 10000
    },
    "service": {
        "type": "gcp"
    }
}