« GoFlow2 HAProxy 集成 »
Elastic 文档 ›Elastic 集成

Hadoop

编辑

Hadoop

编辑

版本

1.7.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的 Serverless 项目类型
这是什么？

安全
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

Elastic

此集成用于收集 Hadoop 指标，如下所示

  • 应用程序指标
  • 集群指标
  • 数据节点指标
  • 名称节点指标
  • 节点管理器指标

此集成使用资源管理器 API 和 JMX API 来收集上述指标。

兼容性

编辑

此集成已针对 Hadoop 版本 3.3.6 进行测试。

故障排除

编辑

如果 logs-* 数据视图下显示 host.ip 冲突，则可以通过重新索引 Application 数据流的索引来解决此问题。如果 metrics-* 数据视图下显示 host.ip 冲突，则可以通过重新索引 Cluster、 Datanode、Namenode 和 Node Manager 数据流的索引来解决此问题。

application

编辑

此数据流收集应用程序指标。

示例

application 的示例事件如下所示

{
    "@timestamp": "2023-02-02T12:03:41.178Z",
    "agent": {
        "ephemeral_id": "71297f22-c3ed-49b3-a8a9-a9d2086f8df2",
        "id": "2d054344-10a6-40d9-90c1-ea017fecfda3",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "data_stream": {
        "dataset": "hadoop.application",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "2d054344-10a6-40d9-90c1-ea017fecfda3",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "database"
        ],
        "created": "2023-02-02T12:03:41.178Z",
        "dataset": "hadoop.application",
        "ingested": "2023-02-02T12:03:42Z",
        "kind": "metric",
        "module": "httpjson",
        "type": [
            "info"
        ]
    },
    "hadoop": {
        "application": {
            "allocated": {
                "mb": 2048,
                "v_cores": 1
            },
            "id": "application_1675339401983_0001",
            "memory_seconds": 12185,
            "progress": 0,
            "running_containers": 1,
            "time": {
                "elapsed": 7453,
                "finished": "1970-01-01T00:00:00.000Z",
                "started": "2023-02-02T12:03:33.662Z"
            },
            "vcore_seconds": 5
        }
    },
    "input": {
        "type": "httpjson"
    },
    "tags": [
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

hadoop.application.allocated.mb

分配给应用程序正在运行的容器的总内存 (Mb)

长整型

hadoop.application.allocated.v_cores

分配给应用程序正在运行的容器的虚拟核心总数

长整型

hadoop.application.id

应用程序 ID

关键字

hadoop.application.memory_seconds

应用程序已分配的内存量

长整型

hadoop.application.progress

应用程序进度 (%)

长整型

hadoop.application.running_containers

当前为应用程序运行的容器数

长整型

hadoop.application.time.elapsed

自应用程序启动以来经过的时间 (ms)

长整型

hadoop.application.time.finished

应用程序完成时间

日期

hadoop.application.time.started

应用程序启动时间

日期

hadoop.application.vcore_seconds

应用程序已分配的 CPU 资源量

长整型

input.type

Filebeat 输入的类型。

关键字

cluster

编辑

此数据流收集集群指标。

示例

cluster 的示例事件如下所示

{
    "@timestamp": "2022-04-04T17:22:22.255Z",
    "agent": {
        "ephemeral_id": "a8157f06-f6b6-4eae-b67f-4ad08fa7c170",
        "id": "abf8f8c1-f293-4e16-a8f8-8cf48014d040",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.1.0"
    },
    "data_stream": {
        "dataset": "hadoop.cluster",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "abf8f8c1-f293-4e16-a8f8-8cf48014d040",
        "snapshot": false,
        "version": "8.1.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "database"
        ],
        "dataset": "hadoop.cluster",
        "duration": 50350559,
        "ingested": "2022-04-04T17:22:25Z",
        "kind": "metric",
        "module": "http",
        "type": [
            "info"
        ]
    },
    "hadoop": {
        "cluster": {
            "application_main": {
                "launch_delay_avg_time": 2115,
                "launch_delay_num_ops": 1,
                "register_delay_avg_time": 0,
                "register_delay_num_ops": 0
            },
            "node_managers": {
                "num_active": 1,
                "num_decommissioned": 0,
                "num_lost": 0,
                "num_rebooted": 0,
                "num_unhealthy": 0
            }
        }
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "ip": [
            "172.27.0.7"
        ],
        "mac": [
            "02-42-AC-1F-00-07"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "3.10.0-1160.53.1.el7.x86_64",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.3 LTS (Focal Fossa)"
        }
    },
    "metricset": {
        "name": "json",
        "period": 60000
    },
    "service": {
        "address": "http://elastic-package-service_hadoop_1:8088/jmx?qry=Hadoop%3Aservice%3DResourceManager%2Cname%3DClusterMetrics",
        "type": "http"
    },
    "tags": [
        "hadoop-cluster"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符（如果存在）。例如：对于 Beats，这将是 beat.id。

关键字

cloud.account.id

用于在多租户环境中识别不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键字

cloud.availability_zone

此主机、资源或服务所在的可用区。

关键字

cloud.instance.id

主机实例 ID。

关键字

cloud.provider

云提供商的名称。示例值有 aws、azure、gcp 或 digitalocean。

关键字

cloud.region

此主机、资源或服务所在的区域。

关键字

container.id

唯一的容器 ID。

关键字

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

hadoop.cluster.application_main.launch_delay_avg_time

应用程序主启动延迟平均时间（毫秒）

长整型

计量

hadoop.cluster.application_main.launch_delay_num_ops

应用程序主启动延迟操作（操作次数）

长整型

计量

hadoop.cluster.application_main.register_delay_avg_time

应用程序主注册延迟平均时间（毫秒）

长整型

计量

hadoop.cluster.application_main.register_delay_num_ops

应用程序主注册延迟操作（操作次数）

长整型

计量

hadoop.cluster.applications.completed

已完成的应用程序数

长整型

计数器

hadoop.cluster.applications.failed

失败的应用程序数

长整型

计数器

hadoop.cluster.applications.killed

被终止的应用程序数

长整型

计数器

hadoop.cluster.applications.pending

待处理的应用程序数

长整型

计量

hadoop.cluster.applications.running

正在运行的应用程序数

长整型

计量

hadoop.cluster.applications.submitted

已提交的应用程序数

长整型

计数器

hadoop.cluster.containers.allocated

已分配的容器数

长整型

计量

hadoop.cluster.containers.pending

待处理的容器数

长整型

计量

hadoop.cluster.containers.reserved

已保留的容器数

长整型

计量

hadoop.cluster.memory.allocated

已分配的内存量（MB）

长整型

计量

hadoop.cluster.memory.available

可用内存量（MB）

长整型

计量

hadoop.cluster.memory.reserved

已保留的内存量（MB）

长整型

计量

hadoop.cluster.memory.total

总内存量（MB）

长整型

计量

hadoop.cluster.node_managers.num_active

活动节点管理器数

长整型

计量

hadoop.cluster.node_managers.num_decommissioned

已停用的节点管理器数

长整型

计量

hadoop.cluster.node_managers.num_lost

丢失的节点管理器数

长整型

计量

hadoop.cluster.node_managers.num_rebooted

重新启动的节点管理器数

长整型

计量

hadoop.cluster.node_managers.num_unhealthy

不健康的节点管理器数

长整型

计量

hadoop.cluster.nodes.active

活动节点数

长整型

计量

hadoop.cluster.nodes.decommissioned

已停用的节点数

长整型

计量

hadoop.cluster.nodes.decommissioning

正在停用的节点数

长整型

计量

hadoop.cluster.nodes.lost

丢失的节点数

长整型

计量

hadoop.cluster.nodes.rebooted

重新启动的节点数

长整型

计量

hadoop.cluster.nodes.shutdown

关闭的节点数

长整型

计量

hadoop.cluster.nodes.total

节点总数

长整型

计量

hadoop.cluster.nodes.unhealthy

不健康的节点数

长整型

计量

hadoop.cluster.virtual_cores.allocated

已分配的虚拟核心数

长整型

计量

hadoop.cluster.virtual_cores.available

可用的虚拟核心数

长整型

计量

hadoop.cluster.virtual_cores.reserved

已保留的虚拟核心数

长整型

计量

hadoop.cluster.virtual_cores.total

虚拟核心总数

长整型

计量

host.name

主机名。它可以包含 Unix 系统上主机名返回的内容、完全限定域名 (FQDN) 或用户指定的名称。建议值为主机的小写 FQDN。

关键字

service.address

从中收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。

关键字

datanode

编辑

此数据流收集数据节点指标。

示例

datanode 的示例事件如下所示

{
    "@timestamp": "2023-02-02T12:05:04.266Z",
    "agent": {
        "ephemeral_id": "2f5c3354-b1d6-4f1b-b12e-2824ae65dd02",
        "id": "2d054344-10a6-40d9-90c1-ea017fecfda3",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.5.1"
    },
    "data_stream": {
        "dataset": "hadoop.datanode",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "2d054344-10a6-40d9-90c1-ea017fecfda3",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "database"
        ],
        "dataset": "hadoop.datanode",
        "duration": 241651987,
        "ingested": "2023-02-02T12:05:05Z",
        "kind": "metric",
        "module": "http",
        "type": [
            "info"
        ]
    },
    "hadoop": {
        "datanode": {
            "blocks": {
                "cached": 0,
                "failed": {
                    "to_cache": 0,
                    "to_uncache": 0
                }
            },
            "cache": {
                "capacity": 0,
                "used": 0
            },
            "dfs_used": 804585,
            "disk_space": {
                "capacity": 80637005824,
                "remaining": 56384421888
            },
            "estimated_capacity_lost_total": 0,
            "last_volume_failure_date": "1970-01-01T00:00:00.000Z",
            "volumes": {
                "failed": 0
            }
        }
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "id": "75e38940166b4dbc90b6f5610e8e9c39",
        "ip": [
            "172.28.0.5"
        ],
        "mac": [
            "02-42-AC-1C-00-05"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "3.10.0-1160.80.1.el7.x86_64",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.5 LTS (Focal Fossa)"
        }
    },
    "metricset": {
        "name": "json",
        "period": 60000
    },
    "service": {
        "address": "http://elastic-package-service_hadoop_1:9864/jmx?qry=Hadoop%3Aname%3DDataNodeActivity%2A%2Cservice%3DDataNode",
        "type": "http"
    },
    "tags": [
        "hadoop-datanode"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符（如果存在）。例如：对于 Beats，这将是 beat.id。

关键字

cloud.account.id

用于在多租户环境中识别不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键字

cloud.availability_zone

此主机、资源或服务所在的可用区。

关键字

cloud.instance.id

主机实例 ID。

关键字

cloud.provider

云提供商的名称。示例值有 aws、azure、gcp 或 digitalocean。

关键字

cloud.region

此主机、资源或服务所在的区域。

关键字

container.id

唯一的容器 ID。

关键字

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

hadoop.datanode.blocks.cached

缓存的块数

长整型

计量

hadoop.datanode.blocks.failed.to_cache

未能缓存的块数

长整型

计量

hadoop.datanode.blocks.failed.to_uncache

从缓存中删除失败的块数

长整型

计量

hadoop.datanode.bytes.read

读取的数据

长整型

计数器

hadoop.datanode.bytes.written

写入的数据

长整型

计数器

hadoop.datanode.cache.capacity

缓存容量（字节）

长整型

计量

hadoop.datanode.cache.used

已使用的缓存（字节）

长整型

计量

hadoop.datanode.dfs_used

分布式文件系统已使用

长整型

计量

hadoop.datanode.disk_space.capacity

磁盘容量（字节）

长整型

计量

hadoop.datanode.disk_space.remaining

剩余磁盘空间（字节）

长整型

计量

hadoop.datanode.estimated_capacity_lost_total

估计丢失的容量（字节）

长整型

计量

hadoop.datanode.last_volume_failure_date

自 epoch 以来最后一次卷故障的日期/时间（毫秒）

日期

hadoop.datanode.volumes.failed

失败的卷数

长整型

计量

host.name

主机名。它可以包含 Unix 系统上主机名返回的内容、完全限定域名 (FQDN) 或用户指定的名称。建议值为主机的小写 FQDN。

关键字

service.address

从中收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。

关键字

namenode

编辑

此数据流收集名称节点指标。

示例

namenode 的示例事件如下所示

{
    "@timestamp": "2022-03-28T11:36:07.166Z",
    "agent": {
        "ephemeral_id": "1304d85b-b3ba-45a5-ad59-c9ec7df3a49f",
        "id": "adf6847a-3726-4fe6-a202-147021ff3cbc",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.1.0"
    },
    "data_stream": {
        "dataset": "hadoop.namenode",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "adf6847a-3726-4fe6-a202-147021ff3cbc",
        "snapshot": false,
        "version": "8.1.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "database"
        ],
        "dataset": "hadoop.namenode",
        "duration": 341259289,
        "ingested": "2022-03-28T11:36:09Z",
        "kind": "metric",
        "module": "http",
        "type": [
            "info"
        ]
    },
    "hadoop": {
        "namenode": {
            "blocks": {
                "corrupt": 0,
                "missing_repl_one": 0,
                "pending_deletion": 0,
                "pending_replication": 0,
                "scheduled_replication": 0,
                "total": 0,
                "under_replicated": 0
            },
            "capacity": {
                "remaining": 11986817024,
                "total": 48420556800,
                "used": 4096
            },
            "estimated_capacity_lost_total": 0,
            "files_total": 9,
            "lock_queue_length": 0,
            "nodes": {
                "num_dead_data": 0,
                "num_decom_dead_data": 0,
                "num_decom_live_data": 0,
                "num_decommissioning_data": 0,
                "num_live_data": 1
            },
            "num_stale_storages": 0,
            "stale_data_nodes": 0,
            "total_load": 0,
            "volume_failures_total": 0
        }
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "ip": [
            "192.168.160.7"
        ],
        "mac": [
            "02-42-AC-1F-00-07"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "3.10.0-1160.45.1.el7.x86_64",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.3 LTS (Focal Fossa)"
        }
    },
    "metricset": {
        "name": "json",
        "period": 60000
    },
    "service": {
        "address": "http://elastic-package-service_hadoop_1:9870/jmx?qry=Hadoop%3Aname%3DFSNamesystem%2Cservice%3DNameNode",
        "type": "http"
    },
    "tags": [
        "hadoop-namenode"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符（如果存在）。例如：对于 Beats，这将是 beat.id。

关键字

cloud.account.id

用于在多租户环境中识别不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键字

cloud.availability_zone

此主机、资源或服务所在的可用区。

关键字

cloud.instance.id

主机实例 ID。

关键字

cloud.provider

云提供商的名称。示例值有 aws、azure、gcp 或 digitalocean。

关键字

cloud.region

此主机、资源或服务所在的区域。

关键字

container.id

唯一的容器 ID。

关键字

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

hadoop.namenode.blocks.corrupt

当前具有损坏副本的块数。

长整型

计量

hadoop.namenode.blocks.missing_repl_one

当前复制因子为 1 的缺失块数

长整型

计量

hadoop.namenode.blocks.pending_deletion

当前待删除的块数

长整型

计量

hadoop.namenode.blocks.pending_replication

当前待复制的块数

长整型

计量

hadoop.namenode.blocks.scheduled_replication

当前计划复制的块数

长整型

计量

hadoop.namenode.blocks.total

系统中当前已分配的块数

长整型

计量

hadoop.namenode.blocks.under_replicated

当前复制不足的块数

长整型

计量

hadoop.namenode.capacity.remaining

当前剩余容量（字节）

长整型

计量

hadoop.namenode.capacity.total

数据节点的当前原始容量（字节）

长整型

计量

hadoop.namenode.capacity.used

所有数据节点中当前使用的容量（字节）

长整型

计量

hadoop.namenode.estimated_capacity_lost_total

由于卷故障而导致的估计总容量损失

长整型

计量

hadoop.namenode.files_total

当前的文件和目录数

长整型

计量

hadoop.namenode.lock_queue_length

等待获取 FSNameSystem 锁的线程数

长整型

计量

hadoop.namenode.nodes.num_dead_data

当前已死的数据节点数

长整型

计量

hadoop.namenode.nodes.num_decom_dead_data

已停用且现在已死的数据节点数

长整型

计量

hadoop.namenode.nodes.num_decom_live_data

已停用且现在处于活动状态的数据节点数

长整型

计量

hadoop.namenode.nodes.num_decommissioning_data

处于停用状态的数据节点数

长整型

计量

hadoop.namenode.nodes.num_live_data

当前处于活动状态的数据节点数

长整型

计量

hadoop.namenode.num_stale_storages

标记为内容过时的存储数

长整型

计量

hadoop.namenode.stale_data_nodes

由于延迟的心跳而标记为过时的当前数据节点数

长整型

计量

hadoop.namenode.total_load

当前连接数

长整型

计量

hadoop.namenode.volume_failures_total

所有数据节点的总卷故障次数

长整型

计量

host.name

主机名。它可以包含 Unix 系统上主机名返回的内容、完全限定域名 (FQDN) 或用户指定的名称。建议值为主机的小写 FQDN。

关键字

service.address

从中收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。

关键字

node_manager

编辑

此数据流收集节点管理器指标。

示例

node_manager 的示例事件如下所示

{
    "@timestamp": "2022-03-28T11:54:32.506Z",
    "agent": {
        "ephemeral_id": "9948a37a-5732-4d7d-9218-0e9cf30c035a",
        "id": "adf6847a-3726-4fe6-a202-147021ff3cbc",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.1.0"
    },
    "data_stream": {
        "dataset": "hadoop.node_manager",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "adf6847a-3726-4fe6-a202-147021ff3cbc",
        "snapshot": false,
        "version": "8.1.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "database"
        ],
        "dataset": "hadoop.node_manager",
        "duration": 12930711,
        "ingested": "2022-03-28T11:54:35Z",
        "kind": "metric",
        "module": "http",
        "type": [
            "info"
        ]
    },
    "hadoop": {
        "node_manager": {
            "allocated_containers": 0,
            "container_launch_duration_avg_time": 169,
            "container_launch_duration_num_ops": 2,
            "containers": {
                "completed": 0,
                "failed": 2,
                "initing": 0,
                "killed": 0,
                "launched": 2,
                "running": 0
            }
        }
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "ip": [
            "192.168.160.7"
        ],
        "mac": [
            "02-42-AC-1F-00-07"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "3.10.0-1160.45.1.el7.x86_64",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.3 LTS (Focal Fossa)"
        }
    },
    "metricset": {
        "name": "json",
        "period": 60000
    },
    "service": {
        "address": "http://elastic-package-service_hadoop_1:8042/jmx?qry=Hadoop%3Aservice%3DNodeManager%2Cname%3DNodeManagerMetrics",
        "type": "http"
    },
    "tags": [
        "hadoop-node_manager"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

agent.id

此代理的唯一标识符（如果存在）。例如：对于 Beats，这将是 beat.id。

关键字

cloud.account.id

用于在多租户环境中识别不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。

关键字

cloud.availability_zone

此主机、资源或服务所在的可用区。

关键字

cloud.instance.id

主机实例 ID。

关键字

cloud.provider

云提供商的名称。示例值有 aws、azure、gcp 或 digitalocean。

关键字

cloud.region

此主机、资源或服务所在的区域。

关键字

container.id

唯一的容器 ID。

关键字

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

hadoop.node_manager.allocated_containers

已分配的容器

长整型

计量

hadoop.node_manager.container_launch_duration_avg_time

容器启动持续时间平均时间（秒）

长整型

计量

hadoop.node_manager.container_launch_duration_num_ops

容器启动持续时间操作（操作数）

长整型

计数器

hadoop.node_manager.containers.completed

已完成的容器

长整型

计数器

hadoop.node_manager.containers.failed

失败的容器

长整型

计数器

hadoop.node_manager.containers.initing

正在初始化的容器

长整型

计量

hadoop.node_manager.containers.killed

被终止的容器

长整型

计数器

hadoop.node_manager.containers.launched

已启动的容器

长整型

计数器

hadoop.node_manager.containers.running

正在运行的容器

长整型

计量

host.name

主机名。它可以包含 Unix 系统上主机名返回的内容、完全限定域名 (FQDN) 或用户指定的名称。建议值为主机的小写 FQDN。

关键字

service.address

从中收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。

关键字

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

1.7.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板中冗余的 ECS 字段。

8.13.0 或更高版本

1.6.0

增强 (查看拉取请求)
在 data_stream.dataset 上添加全局过滤器以提高性能。

8.10.2 或更高版本

1.5.2

增强 (查看拉取请求)
内联“按引用”可视化

8.10.2 或更高版本

1.5.1

错误修复 (查看拉取请求)
更新链接至正确的重新索引流程。

8.10.2 或更高版本

1.5.0

增强 (查看拉取请求)
限制请求追踪器日志计数为 5。

8.10.2 或更高版本

1.4.0

增强 (查看拉取请求)
更新“平均耗时”指标可视化的值格式。

8.10.2 或更高版本

1.3.0

增强 (查看拉取请求)
将软件包的 format_version 更新为 3.0.0。

8.8.0 或更高版本

1.2.1

缺陷修复 (查看拉取请求)
从指标数据流中移除 forwarded 标签。

8.8.0 或更高版本

1.2.0

增强 (查看拉取请求)
为服务指标数据集启用时间序列数据流。这显著减少了指标的存储，并且预计会逐步提高查询[性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息，请参见[此处](https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html)。

8.8.0 或更高版本

1.1.8

缺陷修复 (查看拉取请求)
向重命名处理器添加 null 检查和 ignore_missing 检查

8.3.0 或更高版本

1.1.7

增强 (查看拉取请求)
为 namenode 数据流添加 metric_type 映射。

8.3.0 或更高版本

1.1.6

增强 (查看拉取请求)
为 namenode 数据流添加维度映射。

8.3.0 或更高版本

1.1.5

增强 (查看拉取请求)
为 datanode 数据流添加 metric_type 映射。

8.3.0 或更高版本

1.1.4

增强 (查看拉取请求)
为 datanode 数据流添加维度映射。

8.3.0 或更高版本

1.1.3

增强 (查看拉取请求)
为 node_manager 数据流添加 metric_type 映射。

8.3.0 或更高版本

1.1.2

增强 (查看拉取请求)
为 node_manager 数据流添加维度映射。

8.3.0 或更高版本

1.1.1

增强 (查看拉取请求)
为 cluster 数据流添加 metric_type 映射。

8.3.0 或更高版本

1.1.0

增强 (查看拉取请求)
为 cluster 数据流添加维度映射。

8.3.0 或更高版本

1.0.0

增强 (查看拉取请求)
使 Hadoop GA。

8.3.0 或更高版本

0.9.1

缺陷修复 (查看拉取请求)
解决 host.ip 字段冲突。

—

0.9.0

增强 (查看拉取请求)
在应用程序数据流中添加对 HTTP 请求跟踪日志记录的支持。

—

0.8.0

增强 (查看拉取请求)
将所有权从 obs-service-integrations 重命名为 obs-infraobs-integrations

—

0.7.1

缺陷修复 (查看拉取请求)
从应用程序仪表板可视化中删除 (s)。

—

0.7.0

增强 (查看拉取请求)
将 集群概览 仪表板可视化迁移到 Lens。

—

0.6.0

增强 (查看拉取请求)
将 应用程序 仪表板可视化迁移到 Lens。

—

0.5.0

增强 (查看拉取请求)
将 数据节点 和 节点管理器 仪表板可视化迁移到 Lens。

—

0.4.2

增强 (查看拉取请求)
添加了类别和/或子类别。

—

0.4.1

缺陷修复 (查看拉取请求)
将日期处理器的格式从 epoch_millis 替换为 UNIX_MS

—

0.4.0

增强 (查看拉取请求)
将 ECS 版本更新至 8.5.1

—

0.3.0

增强 (查看拉取请求)
添加了基础设施类别。

—

0.2.0

增强 (查看拉取请求)
为 Hadoop 添加仪表板和可视化。

—

0.1.1

增强 (查看拉取请求)
更新应用程序数据流的 SSL 和代理配置。

—

0.1.0

增强 (查看拉取请求)
为 Hadoop 添加 namenode 数据流。

增强 (查看拉取请求)
为 Hadoop 添加 node_manager 数据流、可视化和仪表板。

增强 (查看拉取请求)
为 Hadoop 添加 datanode 数据流。

增强 (查看拉取请求)
为 Hadoop 添加集群指标数据流。

增强 (查看拉取请求)
添加具有应用程序数据流的 Hadoop 集成。

—
« GoFlow2 HAProxy 集成 »