配置 Kafka 输出

enabled 配置是一个布尔值设置，用于启用或禁用输出。如果设置为 false，则禁用输出。

默认值为 false。

Kafka 代理地址列表，从中获取集群元数据。集群元数据包含发布事件的实际 Kafka 代理。

假设 apm-server 运行的 Kafka 版本。默认为 1.0.0。

如果启用了版本 0.10.0.0+，则会添加事件时间戳。

有效值为 0.8.2.0 和 2.0.0 之间的 Kafka 版本。

有关支持版本的详细信息，请参阅 兼容性。

连接到 Kafka 的用户名。如果配置了用户名，则也必须配置密码。

连接到 Kafka 的密码。

连接到 Kafka 时要使用的 SASL 机制。它可以是以下之一

如果未设置 sasl.mechanism，则如果提供了 username 和 password，则使用 PLAIN。否则，SASL 身份验证将被禁用。

用于生成事件的 Kafka 主题。

您可以使用格式字符串访问任何事件字段来动态设置主题。例如，此配置使用自定义字段 fields.log_topic 来设置每个事件的主题

topic: '%{[fields.log_topic]}'

有关其他动态设置主题的方法，请参阅 topics 设置。

主题选择器规则数组。每个规则指定与规则匹配的事件要使用的 topic。在发布期间，APM Server 根据数组中第一个匹配的规则设置每个事件的 topic。规则可以包含条件语句、基于格式字符串的字段和名称映射。如果缺少 topics 设置或没有规则匹配，则使用 topic 字段。

规则设置

以下示例根据消息字段是否包含指定字符串来设置主题

output.kafka:
  hosts: ["localhost:9092"]
  topic: "logs-%{[agent.version]}"
  topics:
    - topic: "critical-%{[agent.version]}"
      when.contains:
        message: "CRITICAL"
    - topic: "error-%{[agent.version]}"
      when.contains:
        message: "ERR"

此配置将导致名为 critical-8.14.2、error-8.14.2 和 logs-8.14.2 的主题。

可选的格式化字符串，指定 Kafka 事件键。如果已配置，则可以使用格式字符串从事件中提取事件键。

有关特定键选择的影响，请参阅 Kafka 文档；默认情况下，键由 Kafka 集群选择。

Kafka 输出代理事件分区策略。必须是 random、round_robin 或 hash 之一。默认情况下，使用 hash 分区器。

random.group_events: 设置要发布到同一分区的事件数量，然后分区器通过随机方式选择一个新分区。默认值为 1，表示在每个事件之后，都会随机选择一个新分区。

round_robin.group_events: 设置要发布到同一分区的事件数量，然后分区器选择下一个分区。默认值为 1，表示在每个事件之后，都会选择下一个分区。

hash.hash: 用于从事件中计算分区哈希值的字段列表。如果未配置任何字段，则将使用事件的 key 值。

hash.random: 如果无法计算哈希值或键值，则随机分配事件。

默认情况下，所有分区器都会尝试将事件发布到所有分区。如果分区的领导者变得无法访问，则输出可能会阻塞。所有分区器都支持设置 reachable_only 来覆盖此行为。如果将 reachable_only 设置为 true，则事件将仅发布到可用的分区。

用于日志记录、调试和审核目的的可配置客户端 ID。默认值为“beats”。

并发负载均衡 Kafka 输出工作程序的数量。

输出编解码器配置。如果缺少 codec 部分，则事件将使用 JSON 编码。

有关详细信息，请参阅 更改输出编解码器。

Kafka 元数据更新设置。元数据包含有关代理、主题、分区和用于发布的活动领导者的信息。

在发布失败后重试发布事件的次数。在指定次数的重试后，事件通常会被丢弃。

将 max_retries 设置为小于 0 的值，以便在所有事件发布之前一直重试。

默认值为 3。

在网络错误后尝试重新发布到 Kafka 之前等待的秒数。等待 backoff.init 秒后，APM Server 会尝试重新发布。如果尝试失败，则回退计时器会以指数方式增加，直到达到 backoff.max。在成功发布后，回退计时器将重置。默认值为 1s。

在网络错误后尝试重新发布到 Kafka 之前等待的最大秒数。默认值为 60s。

在单个 Kafka 请求中批量处理的事件的最大数量。默认值为 2048。

在发送批量 Kafka 请求之前等待的持续时间。0 表示没有延迟。默认值为 0。

在超时之前等待 Kafka 代理响应的秒数。默认值为 30（秒）。

代理等待所需 ACK 数量的最大持续时间。默认值为 10s。

每个 Kafka 代理在输出管道中缓冲的消息数量。默认值为 256。

活动网络连接的保持活动周期。如果为 0s，则禁用保持活动。默认值为 0s。

设置输出压缩编解码器。必须是 none、snappy、lz4 和 gzip 之一。默认值为 gzip。

设置 gzip 使用的压缩级别。将此值设置为 0 将禁用压缩。压缩级别必须在 1（最佳速度）到 9（最佳压缩）之间。

提高压缩级别将减少网络使用量，但会增加 CPU 使用量。

默认值为 4。

允许的 JSON 编码消息的最大大小。更大的消息将被丢弃。默认值为 1000000（字节）。此值应等于或小于代理的 message.max.bytes。

代理所需的 ACK 可靠性级别。0=无响应，1=等待本地提交，-1=等待所有副本提交。默认值为 1。

注意：如果设置为 0，Kafka 不会返回任何 ACK。消息可能会在错误时静默丢失。

启用 Kerberos FAST 身份验证。这可能会与某些 Active Directory 安装冲突。它与标准 Kerberos 设置分开，因为此标志仅适用于 Kafka 输出。默认值为 false。

用于 SSL 参数的配置选项，例如 Kafka 连接的根 CA。Kafka 主机密钥库应使用 -keyalg RSA 参数创建，以确保它使用 Filebeat 的 Kafka 库 支持的密码。有关更多信息，请参见 SSL/TLS 输出设置。