Kafka Broker 度量集

编辑

此功能处于测试阶段,可能会发生变化。其设计和代码的成熟度低于正式 GA 功能,按“原样”提供,不提供任何担保。测试版功能不受正式 GA 功能的支持服务等级协议 (SLA) 的约束。

此度量集定期从 Kafka Broker JMX 获取 JMX 度量。

兼容性

编辑

该模块已在 Kafka 2.1.1 和 2.2.2 上进行了测试。预计其他版本也能正常工作。

用法

编辑

Broker 度量集需要 Jolokia 来获取 JMX 度量。有关如何使用 Jolokia 的说明,请参阅链接。

请注意,需要将 Jolokia 代理与 Kafka JVM 应用程序一起部署。这可以通过在启动 Kafka Broker 应用程序时使用 KAFKA_OPTS 环境变量来实现。

export KAFKA_OPTS=-javaagent:/opt/jolokia-jvm-1.5.0-agent.jar=port=8779,host=localhost
./bin/kafka-server-start.sh ./config/server.properties

然后,就可以从 localhost:8779 收集 JMX 度量。

字段

有关度量集中每个字段的说明,请参阅 导出字段 部分。

这是一个此度量集生成的示例文档。

{
    "@timestamp": "2019-10-30T14:22:37.475Z",
    "@metadata": {
        "beat": "metricbeat",
        "type": "_doc",
        "version": "8.0.0"
    },
    "agent": {
        "ephemeral_id": "f08b3bea-3631-4aaf-b35d-4cef29aeeb06",
        "hostname": "MBP.lan",
        "id": "79dd1677-1bea-4efd-9131-e8ca464eddf0",
        "version": "8.0.0",
        "type": "metricbeat"
    },
    "ecs": {
        "version": "1.2.0"
    },
    "metricset": {
        "name": "broker",
        "period": 10000
    },
    "service": {
        "address": "localhost:8779",
        "type": "kafka"
    },
    "kafka": {
        "broker": {
            "request": {
                "fetch": {
                    "failed_per_second": 0
                },
                "channel": {
                    "queue": {
                        "size": 0
                    }
                },
                "produce": {
                    "failed_per_second": 0
                }
            },
            "replication": {
                "leader_elections": 0,
                "unclean_leader_elections": 0
            },
            "session": {
                "zookeeper": {
                    "expire": 0,
                    "readonly": 0,
                    "sync": 0.00017675970397749868,
                    "disconnect": 0
                }
            },
            "topic": {
                "net": {
                    "bytes_out": 0,
                    "bytes_rejected": 0,
                    "bytes_in": 0
                },
                "messages_in": 0
            }
        }
    },
    "event": {
        "dataset": "kafka.broker",
        "module": "kafka",
        "duration": 7870293
    },
    "host": {
        "name": "MBP.lan",
        "hostname": "MBP.lan",
        "architecture": "x86_64",
        "os": {
            "version": "10.14.6",
            "family": "darwin",
            "name": "Mac OS X",
            "kernel": "18.7.0",
            "build": "18G95",
            "platform": "darwin"
        },
        "id": "883134FF-0EC4-5E1B-9F9E-FD06FB681D84"
    }
}