› › ›

Kafka 消费者指标集

编辑

Kafka 消费者指标集

编辑

此功能处于测试阶段，可能会发生变化。其设计和代码不如正式 GA 功能成熟，按原样提供，不提供任何保证。测试版功能不受正式 GA 功能的支持 SLA 约束。

此指标集定期从用 Java 实现的 Kafka 消费者中获取 JMX 指标，并通过 jolokia 代理公开 JMX 指标。

兼容性

编辑

该模块已在 Kafka 2.1.1 和 2.2.2 上进行了测试。预计其他版本也能正常工作。

用法

编辑

消费者指标集需要 Jolokia 来获取 JMX 指标。有关 Jolokia 的更多信息，请参阅链接。

请注意，需要将 Jolokia 代理与 JVM 应用程序一起部署。这可以通过在启动 Kafka 消费者应用程序时使用 KAFKA_OPTS 环境变量来实现。

export KAFKA_OPTS=-javaagent:/opt/jolokia-jvm-1.5.0-agent.jar=port=8774,host=localhost
./bin/kafka-console-consumer.sh --topic=test --bootstrap-server=localhost:9091

然后，就可以从 localhost:8774 收集 JMX 指标了。

字段

有关指标集中每个字段的说明，请参阅导出字段部分。

以下是由此指标集生成的示例文档

{
    "@timestamp": "2019-10-31T13:22:06.700Z",
    "@metadata": {
        "beat": "metricbeat",
        "type": "_doc",
        "version": "8.0.0"
    },
    "kafka": {
        "consumer": {
            "bytes_consumed": 2.9521300228e+10,
            "fetch_rate": 0,
            "records_consumed": 1.23075656e+08,
            "mbean": "kafka.consumer:client-id=consumer-1,type=consumer-fetch-manager-metrics"
        }
    },
    "event": {
        "dataset": "kafka.consumer",
        "module": "kafka",
        "duration": 7042831
    },
    "ecs": {
        "version": "1.2.0"
    },
    "host": {
        "name": "pr.local",
        "hostname": "pr.local",
        "architecture": "x86_64",
        "os": {
            "kernel": "18.7.0",
            "build": "18G95",
            "platform": "darwin",
            "version": "10.14.6",
            "family": "darwin",
            "name": "Mac OS X"
        },
        "id": "883134FF-0EC4-5E1B-9F9E-FD06FB681D84"
    },
    "agent": {
        "hostname": "pr.local",
        "id": "79dd1677-1bea-4efd-9131-e8ca464eddf0",
        "version": "8.0.0",
        "type": "metricbeat",
        "ephemeral_id": "e40f5843-d3aa-4bdc-a100-64022b70851b"
    },
    "metricset": {
        "name": "consumer",
        "period": 10000
    },
    "service": {
        "address": "localhost:8774",
        "type": "kafka"
    }
}

« Kafka 代理指标集 Kafka 消费者组指标集 »