Kafka 模块
编辑Kafka 模块编辑
kafka 模块收集并解析由 Kafka 创建的日志。
该模块还支持从日志中解析线程 ID。
当您运行该模块时，它会在后台执行一些任务：
- 设置日志文件的默认路径（但别担心，您可以覆盖默认值）
- 确保每个多行日志事件都作为单个事件发送
- 使用 Elasticsearch 摄取管道来解析和处理日志行，将数据整形为适合在 Kibana 中可视化的结构
- 部署用于可视化日志数据的仪表板
阅读快速入门，了解如何配置和运行模块。
兼容性编辑
kafka 模块已经过 0.9、1.1.0 和 2.0.0 版本日志的测试。
配置模块编辑
您可以通过在 modules.d/kafka.yml 文件中指定变量设置或在命令行中覆盖设置来进一步优化 kafka 模块的行为。
您必须在模块中至少启用一个文件集。默认情况下，文件集是被禁用的。
以下示例展示了如何在 modules.d/kafka.yml 文件中设置路径以覆盖日志的默认路径：
- module: kafka
log:
enabled: true
var.paths:
- "/path/to/logs/controller.log*"
- "/path/to/logs/server.log*"
- "/path/to/logs/state-change.log*"
- "/path/to/logs/kafka-*.log*"
要在命令行中指定相同的设置，请使用：
-M "kafka.log.var.paths=[/path/to/logs/controller.log*, /path/to/logs/server.log*, /path/to/logs/state-change.log*, /path/to/logs/kafka-*.log*]"
变量设置编辑
每个文件集都有单独的变量设置，用于配置模块的行为。如果您未指定变量设置，则 kafka 模块将使用默认值。
对于高级用例，您还可以覆盖输入设置。请参阅覆盖输入设置。
当您在命令行中指定设置时，请记住在设置前加上模块名称作为前缀，例如使用 kafka.log.var.paths 而不是 log.var.paths。
log 文件集设置编辑
-
var.kafka_home -
Kafka 安装路径。默认为
/opt。例如：- module: kafka log: enabled: true var.kafka_home: /usr/share/kafka_2.12-2.4.0 ... -
var.paths - 一个基于 glob 的路径数组，用于指定在何处查找日志文件。Go Glob 支持的所有模式在此处也受支持。例如，您可以使用通配符从预定义级别的子目录中获取所有文件：
/path/to/log/*/*.log。这将从/path/to/log的子文件夹中获取所有.log文件。它不会从/path/to/log文件夹本身获取日志文件。如果此设置为空，Filebeat 将根据您的操作系统选择日志路径。
时区支持编辑
此模块解析不包含时区信息的日志。对于这些日志，Filebeat 读取本地时区，并在解析时使用它将时间戳转换为 UTC。用于解析的时区包含在事件的 event.timezone 字段中。
要禁用此转换，可以使用 drop_fields 处理器删除 event.timezone 字段。
如果日志来自与本地时区不同的系统或应用程序，则可以使用 add_fields 处理器将 event.timezone 字段覆盖为原始时区。
有关在配置中指定处理器的详细信息，请参阅处理器。
示例仪表板编辑
此模块附带一个示例仪表板，用于查看 Kafka 日志和堆栈跟踪。
字段编辑
有关模块中每个字段的描述，请参阅导出字段部分。