› ›

Kafka 模块

编辑

Kafka 模块

编辑

kafka 模块收集并解析由 Kafka 创建的日志。

该模块额外支持从日志中解析线程 ID。

运行该模块时，它会在后台执行一些任务

设置日志文件的默认路径（但不用担心，您可以覆盖默认值）
确保每个多行日志事件都被发送为单个事件
使用 Elasticsearch Ingest Pipeline 解析和处理日志行，将数据塑造成适合在 Kibana 中可视化的结构
部署用于可视化日志数据的仪表板

阅读快速入门，了解如何配置和运行模块。

兼容性

编辑

kafka 模块已通过 0.9、1.1.0 和 2.0.0 版本的日志测试。

配置模块

编辑

您可以通过在 modules.d/kafka.yml 文件中指定变量设置或覆盖命令行中的设置来进一步优化 kafka 模块的行为。

您必须在模块中启用至少一个文件集。文件集默认情况下是禁用的。

以下示例显示如何在 modules.d/kafka.yml 文件中设置路径以覆盖日志的默认路径

- module: kafka
  log:
    enabled: true
    var.paths:
      - "/path/to/logs/controller.log*"
      - "/path/to/logs/server.log*"
      - "/path/to/logs/state-change.log*"
      - "/path/to/logs/kafka-*.log*"

要在命令行中指定相同的设置，您可以使用

-M "kafka.log.var.paths=[/path/to/logs/controller.log*, /path/to/logs/server.log*, /path/to/logs/state-change.log*, /path/to/logs/kafka-*.log*]"

变量设置

编辑

每个文件集都有单独的变量设置来配置模块的行为。如果您没有指定变量设置， kafka 模块将使用默认值。

对于高级用例，您还可以覆盖输入设置。请参阅覆盖输入设置。

在命令行中指定设置时，请记住在设置前加上模块名称，例如 kafka.log.var.paths 而不是 log.var.paths。

`log` 文件集设置

编辑

var.kafka_home

Kafka 安装路径。默认值为 /opt。例如

- module: kafka
  log:
    enabled: true
    var.kafka_home: /usr/share/kafka_2.12-2.4.0
    ...

var.paths

指定查找日志文件位置的基于 glob 的路径数组。此处也支持 Go Glob 支持的所有模式。例如，您可以使用通配符从预定义级别的子目录中获取所有文件： /path/to/log/*/*.log。这将获取 /path/to/log 的子文件夹中的所有 .log 文件。它不会获取 /path/to/log 文件夹本身中的日志文件。如果此设置为空，Filebeat 将根据您的操作系统选择日志路径。