配置 Redis 输出编辑

Redis 输出将事件插入到 Redis 列表或 Redis 通道中。此输出插件与 Logstash 的 Redis 输入插件 兼容。

要使用此输出,请编辑 Winlogbeat 配置文件,通过注释掉来禁用 Elasticsearch 输出,并通过添加 output.redis 来启用 Redis 输出。

示例配置

output.redis:
  hosts: ["localhost"]
  password: "my_password"
  key: "winlogbeat"
  db: 0
  timeout: 5

兼容性编辑

此输出预计适用于 3.2.4 到 5.0.8 之间的 Redis 版本。其他版本可能也可以正常工作,但不受支持。

配置选项编辑

您可以在 winlogbeat.yml 配置文件中指定以下 output.redis 选项

enabled编辑

enabled 配置是一个布尔值设置,用于启用或禁用输出。如果设置为 false,则禁用输出。

默认值为 true

hosts编辑

要连接到的 Redis 服务器列表。如果启用了负载均衡,则事件将分布到列表中的服务器。如果一台服务器变得不可访问,则事件仅分布到可访问的服务器。您可以通过指定 HOSTHOST:PORT 来定义每个 Redis 服务器。例如:"192.15.3.2""test.redis.io:12345"。如果您没有指定端口号,则使用 port 配置的值。使用 IP:PORT 对或 URL 配置每个 Redis 服务器。例如:redis://127.0.0.1:6379rediss://127.0.0.1:6379。URL 可以包含特定于服务器的密码。例如:redis://:password@localhost:6379redis 方案将禁用主机上的 ssl 设置,而 rediss 将强制使用 TLS。如果指定了 rediss 且未配置任何 ssl 设置,则输出将使用系统证书存储。

index编辑

添加到事件元数据中的索引名称,供 Logstash 使用。默认值为“winlogbeat”。

key编辑

发布事件的 Redis 列表或通道的名称。如果未配置,则使用 index 设置的值。

您可以通过使用格式字符串访问任何事件字段来动态设置密钥。例如,此配置使用自定义字段 fields.list 来设置 Redis 列表密钥。如果缺少 fields.list,则使用 fallback

output.redis:
  hosts: ["localhost"]
  key: "%{[fields.list]:fallback}"

要了解如何将自定义字段添加到事件,请参阅 fields 选项。

有关以其他方式动态设置密钥的详细信息,请参阅 keys 设置。

keys编辑

一组密钥选择器规则。每条规则指定与规则匹配的事件要使用的 key。在发布期间,Winlogbeat 使用数组中第一个匹配的规则。规则可以包含条件、基于格式字符串的字段和名称映射。如果缺少 keys 设置或没有规则匹配,则使用 key 设置。

规则设置

index
要使用的密钥格式字符串。如果此字符串包含字段引用,例如 %{[fields.name]},则字段必须存在,否则规则将失败。
mappings
一个字典,它获取 key 返回的值并将其映射到一个新名称。
default
如果 mappings 找不到匹配项,则要使用的默认字符串值。
when
必须成功才能执行当前规则的条件。处理器支持的所有 条件 也在此处支持。

示例 keys 设置

output.redis:
  hosts: ["localhost"]
  key: "default_list"
  keys:
    - key: "info_list"   # send to info_list if `message` field contains INFO
      when.contains:
        message: "INFO"
    - key: "debug_list"  # send to debug_list if `message` field contains DEBUG
      when.contains:
        message: "DEBUG"
    - key: "%{[fields.list]}"
      mappings:
        http: "frontend_list"
        nginx: "frontend_list"
        mysql: "backend_list"

password编辑

用于身份验证的密码。默认情况下不进行身份验证。

db编辑

发布事件的 Redis 数据库编号。默认值为 0。

datatype编辑

用于发布事件的 Redis 数据类型。如果数据类型是 list,则使用 Redis RPUSH 命令,并将所有事件添加到 key 下定义的密钥列表中。如果使用数据类型 channel,则使用 Redis PUBLISH 命令,这意味着所有事件都被推送到 Redis 的发布/订阅机制。通道的名称是在 key 下定义的名称。默认值为 list

codec编辑

输出编解码器配置。如果缺少 codec 部分,则事件将被 JSON 编码。

有关详细信息,请参阅 更改输出编解码器

workerworkers编辑

用于配置的每个主机以将事件发布到 Redis 的工作进程数量。将此设置与 loadbalance 选项一起使用。例如,如果您有 2 个主机和 3 个工作进程,则总共启动 6 个工作进程(每个主机 3 个)。

loadbalance编辑

当设置 loadbalance: true 时,Winlogbeat 会连接到所有配置的主机,并通过所有连接以并行方式发送数据。如果连接失败,则数据将发送到剩余的主机,直到重新建立连接。只要 Winlogbeat 能够连接到至少一个配置的主机,数据就会继续发送。

当设置 loadbalance: false 时,Winlogbeat 会一次将数据发送到单个主机。目标主机是从配置的主机列表中随机选择的,所有数据都会发送到该目标,直到连接失败,此时会选择一个新的目标。只要 Winlogbeat 能够连接到至少一个配置的主机,数据就会继续发送。

默认值为 true

timeout编辑

Redis 连接超时(以秒为单位)。默认值为 5 秒。

backoff.init编辑

在网络错误后尝试重新连接到 Redis 之前等待的秒数。在等待 backoff.init 秒后,Winlogbeat 会尝试重新连接。如果尝试失败,则回退计时器将按指数方式增加,直到达到 backoff.max。连接成功后,回退计时器将重置。默认值为 1 秒。

backoff.max编辑

在网络错误后尝试连接到 Redis 之前等待的最大秒数。默认值为 60 秒。

max_retries编辑

Winlogbeat 会忽略 max_retries 设置,并无限期地重试。

bulk_max_size编辑

在一个 Redis 请求或管道中批量处理的事件的最大数量。默认值为 2048。

事件可以收集到批次中。Winlogbeat 将拆分从队列中读取的比 bulk_max_size 大的批次,将其拆分成多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是,较大的批次大小也会增加处理时间,这可能会导致 API 错误、连接终止、发布请求超时,最终导致吞吐量降低。

bulk_max_size 设置为小于或等于 0 的值将禁用批次拆分。当禁用拆分时,队列会决定批次中包含的事件数量。

ssl编辑

SSL 参数的配置选项,例如 Redis 连接的根 CA,这些连接受 SSL 代理保护(例如 stunnel)。有关详细信息,请参阅 SSL

proxy_url编辑

连接到 Redis 服务器时要使用的 SOCKS5 代理的 URL。该值必须是一个方案为 socks5:// 的 URL。您不能使用 Web 代理,因为与 Redis 通信的协议不是基于 HTTP 的。

如果 SOCKS5 代理服务器需要客户端身份验证,则可以在 URL 中嵌入用户名和密码。

使用代理时,主机名将在代理服务器上解析,而不是在客户端上解析。您可以通过设置 proxy_use_local_resolver 选项来更改此行为。

proxy_use_local_resolver编辑

此选项决定在使用代理时 Redis 主机名是在本地解析还是在代理服务器上解析。默认值为 false,这意味着名称解析发生在代理服务器上。