New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« Kafka broker 指标集 Kafka 消费者组指标集 »
Elastic 文档 ›Metricbeat 参考 [8.17] ›模块 ›Kafka 模块

Kafka 消费者指标集

编辑

Kafka 消费者指标集

编辑

此功能处于 Beta 测试阶段，可能会发生更改。其设计和代码不如官方 GA 功能成熟，并按原样提供，不提供任何保证。 Beta 功能不受官方 GA 功能的支持 SLA 的约束。

此指标集定期从 Java 中实现的 Kafka 消费者获取 JMX 指标，并通过 Jolokia 代理公开 JMX 指标。

兼容性

编辑

该模块已在 Kafka 2.1.1 和 2.2.2 上进行了测试。预计其他版本也能正常工作。

使用

编辑

Consumer 指标集需要 Jolokia 来获取 JMX 指标。有关 Jolokia 的更多信息，请参阅链接。

请注意，需要将 Jolokia 代理与 JVM 应用程序一起部署。这可以通过在启动 Kafka 消费者应用程序时使用 KAFKA_OPTS 环境变量来实现。

export KAFKA_OPTS=-javaagent:/opt/jolokia-jvm-1.5.0-agent.jar=port=8774,host=localhost
./bin/kafka-console-consumer.sh --topic=test --bootstrap-server=localhost:9091

然后就可以从 localhost:8774 收集 JMX 指标。

字段

有关指标集中每个字段的描述，请参阅导出的字段部分。

这是此指标集生成的示例文档

{
    "@timestamp": "2019-10-31T13:22:06.700Z",
    "@metadata": {
        "beat": "metricbeat",
        "type": "_doc",
        "version": "8.0.0"
    },
    "kafka": {
        "consumer": {
            "bytes_consumed": 2.9521300228e+10,
            "fetch_rate": 0,
            "records_consumed": 1.23075656e+08,
            "mbean": "kafka.consumer:client-id=consumer-1,type=consumer-fetch-manager-metrics"
        }
    },
    "event": {
        "dataset": "kafka.consumer",
        "module": "kafka",
        "duration": 7042831
    },
    "ecs": {
        "version": "1.2.0"
    },
    "host": {
        "name": "pr.local",
        "hostname": "pr.local",
        "architecture": "x86_64",
        "os": {
            "kernel": "18.7.0",
            "build": "18G95",
            "platform": "darwin",
            "version": "10.14.6",
            "family": "darwin",
            "name": "Mac OS X"
        },
        "id": "883134FF-0EC4-5E1B-9F9E-FD06FB681D84"
    },
    "agent": {
        "hostname": "pr.local",
        "id": "79dd1677-1bea-4efd-9131-e8ca464eddf0",
        "version": "8.0.0",
        "type": "metricbeat",
        "ephemeral_id": "e40f5843-d3aa-4bdc-a100-64022b70851b"
    },
    "metricset": {
        "name": "consumer",
        "period": 10000
    },
    "service": {
        "address": "localhost:8774",
        "type": "kafka"
    }
}
« Kafka broker 指标集 Kafka 消费者组指标集 »
Was this helpful?
Feedback