Kafka Broker 度量集
编辑Kafka Broker 度量集
编辑此功能处于测试阶段,可能会发生变化。其设计和代码的成熟度低于正式 GA 功能,按“原样”提供,不提供任何担保。测试版功能不受正式 GA 功能的支持服务等级协议 (SLA) 的约束。
此度量集定期从 Kafka Broker JMX 获取 JMX 度量。
兼容性
编辑该模块已在 Kafka 2.1.1 和 2.2.2 上进行了测试。预计其他版本也能正常工作。
用法
编辑Broker 度量集需要 Jolokia 来获取 JMX 度量。有关如何使用 Jolokia 的说明,请参阅链接。
请注意,需要将 Jolokia 代理与 Kafka JVM 应用程序一起部署。这可以通过在启动 Kafka Broker 应用程序时使用 KAFKA_OPTS
环境变量来实现。
export KAFKA_OPTS=-javaagent:/opt/jolokia-jvm-1.5.0-agent.jar=port=8779,host=localhost ./bin/kafka-server-start.sh ./config/server.properties
然后,就可以从 localhost:8779
收集 JMX 度量。
有关度量集中每个字段的说明,请参阅 导出字段 部分。
这是一个此度量集生成的示例文档。
{ "@timestamp": "2019-10-30T14:22:37.475Z", "@metadata": { "beat": "metricbeat", "type": "_doc", "version": "8.0.0" }, "agent": { "ephemeral_id": "f08b3bea-3631-4aaf-b35d-4cef29aeeb06", "hostname": "MBP.lan", "id": "79dd1677-1bea-4efd-9131-e8ca464eddf0", "version": "8.0.0", "type": "metricbeat" }, "ecs": { "version": "1.2.0" }, "metricset": { "name": "broker", "period": 10000 }, "service": { "address": "localhost:8779", "type": "kafka" }, "kafka": { "broker": { "request": { "fetch": { "failed_per_second": 0 }, "channel": { "queue": { "size": 0 } }, "produce": { "failed_per_second": 0 } }, "replication": { "leader_elections": 0, "unclean_leader_elections": 0 }, "session": { "zookeeper": { "expire": 0, "readonly": 0, "sync": 0.00017675970397749868, "disconnect": 0 } }, "topic": { "net": { "bytes_out": 0, "bytes_rejected": 0, "bytes_in": 0 }, "messages_in": 0 } } }, "event": { "dataset": "kafka.broker", "module": "kafka", "duration": 7870293 }, "host": { "name": "MBP.lan", "hostname": "MBP.lan", "architecture": "x86_64", "os": { "version": "10.14.6", "family": "darwin", "name": "Mac OS X", "kernel": "18.7.0", "build": "18G95", "platform": "darwin" }, "id": "883134FF-0EC4-5E1B-9F9E-FD06FB681D84" } }