配置 Redis 输出
编辑配置 Redis 输出
编辑Redis 输出将事件插入 Redis 列表或 Redis 通道。此输出插件与 Logstash 的 Redis 输入插件兼容。
要使用此输出,请编辑 APM Server 配置文件,通过注释掉 Elasticsearch 输出禁用它,并通过添加 output.redis
来启用 Redis 输出。
配置示例
output.redis: hosts: ["localhost"] password: "my_password" key: "apm-server" db: 0 timeout: 5
此输出预计适用于 3.2.4 到 5.0.8 之间的所有 Redis 版本。其他版本可能也可以工作,但不受支持。
您可以在 apm-server.yml
配置文件中指定以下 output.redis
选项
enabled
enabled
配置是一个布尔值设置,用于启用或禁用输出。如果设置为 false,则禁用输出。
默认值为 true
。
hosts
要连接的 Redis 服务器列表。如果启用了负载均衡,则事件将分发到列表中的服务器。如果某个服务器变得不可访问,则事件将仅分发到可访问的服务器。您可以通过指定 HOST
或 HOST:PORT
来定义每个 Redis 服务器。例如:"192.15.3.2"
或 "test.redis.io:12345"
。如果未指定端口号,则使用 port
配置的值。使用 IP:PORT
对或 URL
配置每个 Redis 服务器。例如:redis://127.0.0.1:6379
或 rediss://127.0.0.1:6379
。URL 可以包含特定于服务器的密码。例如:redis://:password@localhost:6379
。redis
方案将禁用主机的 ssl
设置,而 rediss
将强制执行 TLS。如果指定了 rediss
并且未配置任何 ssl
设置,则输出将使用系统证书存储。
index
添加到事件元数据中供 Logstash 使用的索引名称。默认值为 "apm-server"。
key
事件发布到的 Redis 列表或通道的名称。如果未配置,则使用 index
设置的值。
您可以使用格式字符串访问任何事件字段来动态设置键。例如,此配置使用自定义字段 fields.list
来设置 Redis 列表键。如果缺少 fields.list
,则使用 fallback
output.redis: hosts: ["localhost"] key: "%{[fields.list]:fallback}"
有关动态设置键的其他方法,请参阅 keys
设置。
keys
键选择器规则数组。每个规则指定用于匹配该规则的事件的 key
。在发布期间,APM Server 使用数组中第一个匹配的规则。规则可以包含条件、基于格式字符串的字段和名称映射。如果缺少 keys
设置或没有规则匹配,则使用 key
设置。
规则设置
-
index
- 要使用的键格式字符串。如果此字符串包含字段引用(例如
%{[fields.name]}
),则这些字段必须存在,否则规则将失败。 -
mappings
- 一个字典,它接收
key
返回的值并将其映射到新名称。 -
default
- 如果
mappings
未找到匹配项,则使用的默认字符串值。 -
when
- 必须成功才能执行当前规则的条件。
示例 keys
设置
output.redis: hosts: ["localhost"] key: "default_list" keys: - key: "info_list" # send to info_list if `message` field contains INFO when.contains: message: "INFO" - key: "debug_list" # send to debug_list if `message` field contains DEBUG when.contains: message: "DEBUG" - key: "%{[fields.list]}" mappings: http: "frontend_list" nginx: "frontend_list" mysql: "backend_list"
password
用于身份验证的密码。默认情况下不进行身份验证。
db
发布事件的 Redis 数据库号。默认值为 0。
datatype
用于发布事件的 Redis 数据类型。如果数据类型为 list
,则使用 Redis RPUSH 命令,并将所有事件添加到以 key
下定义的键的列表中。如果使用数据类型 channel
,则使用 Redis PUBLISH
命令,这意味着所有事件都会被推送到 Redis 的发布/订阅机制中。通道的名称是在 key
下定义的名称。默认值为 list
。
codec
输出编解码器配置。如果缺少 codec
部分,则将对事件进行 JSON 编码。
有关更多信息,请参阅更改输出编解码器。
worker
用于每个配置为将事件发布到 Redis 的主机的工作进程数。将此设置与 loadbalance
选项一起使用。例如,如果您有 2 个主机和 3 个工作进程,则总共启动 6 个工作进程(每个主机 3 个)。
loadbalance
如果设置为 true 并且配置了多个主机或工作进程,则输出插件会将发布的事件负载均衡到所有 Redis 主机上。如果设置为 false,则输出插件仅将所有事件发送到一个主机(随机确定),并且如果当前选择的主机变得不可访问,则将切换到另一个主机。默认值为 true。
timeout
Redis 连接超时(以秒为单位)。默认值为 5 秒。
backoff.init
在发生网络错误后,尝试重新连接到 Redis 之前要等待的秒数。等待 backoff.init
秒后,APM Server 会尝试重新连接。如果尝试失败,则回退计时器将呈指数级增加,直到 backoff.max
。成功连接后,将重置回退计时器。默认值为 1s
。
backoff.max
在发生网络错误后,尝试连接到 Redis 之前要等待的最大秒数。默认值为 60s
。
max_retries
在发布失败后重试发布事件的次数。在指定的重试次数之后,通常会丢弃事件。
将 max_retries
设置为小于 0 的值以重试,直到发布所有事件。
默认值为 3。
bulk_max_size
单个 Redis 请求或管道中要批量处理的最大事件数。默认值为 2048。
如果 Beat 发送单个事件,则将这些事件收集到批次中。如果 Beat 发布大量事件批次(大于 bulk_max_size
指定的值),则该批次将被拆分。
指定较大的批次大小可以通过降低发送事件的开销来提高性能。但是,较大的批次大小也可能会增加处理时间,这可能会导致 API 错误、连接终止、发布请求超时,并最终降低吞吐量。
将 bulk_max_size
设置为小于或等于 0 的值会禁用批次拆分。禁用拆分后,队列将决定批次中包含的事件数。
ssl
SSL 参数的配置选项,例如受 SSL 代理(例如 stunnel)保护的 Redis 连接的根 CA。有关更多信息,请参阅SSL/TLS 输出设置。
proxy_url
连接到 Redis 服务器时要使用的 SOCKS5 代理的 URL。该值必须是具有 socks5://
方案的 URL。您不能使用 Web 代理,因为用于与 Redis 通信的协议不是基于 HTTP 的。
如果 SOCKS5 代理服务器需要客户端身份验证,则可以将用户名和密码嵌入 URL 中。
使用代理时,主机名在代理服务器上而不是在客户端上解析。您可以通过设置 proxy_use_local_resolver
选项来更改此行为。
proxy_use_local_resolver
此选项确定在使用代理时是否在本地解析 Redis 主机名。默认值为 false,这意味着名称解析发生在代理服务器上。