Kafka 输出插件

生产者需要领导者在认为请求完成之前收到的确认数。

acks=0。生产者不会等待服务器的任何确认。

acks=1。领导者会将记录写入其本地日志，但在未收到所有跟随者的完全确认之前会进行响应。

acks=all。领导者将等待所有同步副本的完全确认，然后再确认该记录。

当多个记录被发送到同一分区时，生产者将尝试将记录批量处理为更少的请求。这有助于客户端和服务器上的性能。此配置控制默认的批处理大小（以字节为单位）。

这是用于引导的，生产者将仅使用它来获取元数据（主题、分区和副本）。发送实际数据的套接字连接将基于元数据中返回的 broker 信息建立。格式为 host1:port1,host2:port2，并且列表可以是 broker 的子集或指向 broker 子集的 VIP。

生产者可用于缓冲等待发送到服务器的记录的总内存字节数。

控制 DNS 查找的执行方式。如果设置为 use_all_dns_ips，则 Logstash 会尝试主机名返回的所有 IP 地址，然后再使连接失败。如果设置为 resolve_canonical_bootstrap_servers_only，则会解析并扩展每个条目为规范名称列表。

发出请求时传递给服务器的 ID 字符串。这样做的目的是能够通过允许在请求中包含逻辑应用程序名称来跟踪请求的来源，而不仅仅是 ip/端口

生产者生成的所有数据的压缩类型。默认值为 none（表示不压缩）。有效值为 none、gzip、snappy、lz4 或 zstd。

在此配置指定的毫秒数之后关闭空闲连接。

Java 身份验证和授权服务 (JAAS) API 为 Kafka 提供用户身份验证和授权服务。此设置提供 JAAS 文件的路径。Kafka 客户端的示例 JAAS 文件

KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useTicketCache=true
  renewTicket=true
  serviceName="kafka";
  };

请注意，在配置文件中指定 jaas_path 和 kerberos_config 会将它们添加到全局 JVM 系统属性中。这意味着如果您有多个 Kafka 输入，则所有这些输入都将共享相同的 jaas_path 和 kerberos_config。如果这不是您想要的，您必须在不同的 JVM 实例上运行 Logstash 的单独实例。

Kerberos 配置文件的可选路径。这是 https://web.mit.edu/kerberos/krb5-1.12/doc/admin/conf_files/krb5_conf.html 中详述的 krb5.conf 样式

消息键的序列化程序类

生产者将请求传输之间到达的任何记录组合成一个批处理请求。通常，这种情况仅在负载下发生，即记录到达的速度快于发送速度。但是在某些情况下，即使在适度负载下，客户端也可能希望减少请求的数量。此设置通过添加少量的人为延迟来完成此目的，即，生产者不是立即发送记录，而是会等待最多给定的延迟，以允许发送其他记录，以便可以将发送批量处理在一起。

请求的最大大小

键值对的映射，每个键值对分别对应一个头部名称及其值。示例

    message_headers => { "event_timestamp" => "%{@timestamp}" }

消息的键。

用于获取主题元数据的初始元数据请求的超时设置。

强制刷新元数据之前允许的最大时间（以毫秒为单位）。

默认行为是对事件的 message_key 进行哈希以获取分区。当不存在消息键时，插件会以轮询方式选择分区。

选择分区策略的可用选项如下：

读取数据时要使用的 TCP 接收缓冲区的大小

当连接失败时，尝试重新连接到给定主机之前等待的时间。

此配置控制客户端等待请求响应的最大时间。如果在超时时间到期之前未收到响应，则客户端将在必要时重新发送请求；如果重试次数耗尽，则请求将失败。

默认的重试行为是重试直到成功。为防止数据丢失，不建议更改此设置。

如果您选择设置 retries，则大于零的值将导致客户端仅重试固定次数。如果传输故障存在的时间长于您的重试次数（网络中断、Kafka 宕机等），则会导致数据丢失。

小于零的值是配置错误。

从 10.5.0 版本开始，此插件将仅重试 RetriableException 和 InterruptException 的子类的异常。如果生成消息抛出任何其他异常，则会记录错误并且消息将被丢弃，而不会重试。这可以防止 Logstash 管道无限期挂起。

在 10.5.0 之前的版本中，任何异常都会无限期重试，除非配置了 retries 选项。

尝试重试向给定主题分区发送失败的生成请求之前等待的时间。

指定的 SASL 机制应使用的 SASL 客户端回调处理程序类。

此插件实例本地的 JAAS 配置设置，而不是使用 jaas_path 配置的配置文件设置，这些设置在 JVM 中共享。这允许每个插件实例拥有自己的配置。

如果同时设置了 sasl_jaas_config 和 jaas_path 配置，则此处的设置优先。

示例（Azure Event Hub 的设置）

    output {
      kafka {
        sasl_jaas_config => "org.apache.kafka.common.security.plain.PlainLoginModule required username='auser'  password='apassword';"
      }
    }

Kafka broker 运行的 Kerberos 主体名称。这可以在 Kafka 的 JAAS 配置或 Kafka 的配置中定义。

用于客户端连接的 SASL 机制。这可以是任何有安全提供程序的机制。GSSAPI 是默认机制。

要使用的安全协议，可以是 PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL 中的任何一种

发送数据时要使用的 TCP 发送缓冲区的大小。

端点识别算法，默认为 "https"。设置为空字符串 "" 以禁用

密钥库文件中私钥的密码。

如果需要客户端身份验证，则此设置存储密钥库路径。

如果需要客户端身份验证，则此设置存储密钥库密码

密钥库类型。

用于验证 Kafka broker 证书的 JKS 信任库路径。

信任库密码

信任库类型。

要将消息生成到的主题

消息值的序列化程序类

用于输出数据的编解码器。输出编解码器是一种方便的方法，可以在数据离开输出之前对其进行编码，而无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但是您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用。例如，如果您有 2 个 kafka 输出。在这种情况下添加命名 ID 将在使用监视 API 时帮助监视 Logstash。

output {
  kafka {
    id => "my_plugin_id"
  }
}