翻译过滤器插件
编辑翻译过滤器插件编辑
- 插件版本:v3.4.2
- 发布时间:2023-06-14
- 更新日志
有关其他版本,请参阅版本化插件文档。
获取帮助编辑
如果您对该插件有任何疑问,请在论坛中发帖。如有错误或功能请求,请在Github中提交问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵。
描述编辑
一个通用的搜索和替换工具,它使用配置的哈希值和/或文件来确定替换值。目前支持 YAML、JSON 和 CSV 文件。每个字典项都是一个键值对。
您可以通过以下两种方式之一指定字典条目
dictionary
配置项可以包含表示映射的哈希值。- 可以在
dictionary_path
配置项中指定外部文件(可由 Logstash 读取)。
这两种方法不能同时使用;否则会产生错误。
在操作上,对于每个事件,都会根据字典测试 source
设置中的值,如果完全匹配(或在启用 regex
配置项时匹配正则表达式),则匹配的值将放入 target
字段中,但如果不匹配,则使用 fallback
设置字符串。
示例
filter { translate { source => "[http][response][status_code]" target => "[http_status_description]" dictionary => { "100" => "Continue" "101" => "Switching Protocols" "200" => "OK" "500" => "Server Error" } fallback => "I'm a teapot" } }
有时,人们会发现他们有一个字段,其中包含需要进行一些丰富处理的可变大小的值或对象数组。在这种情况下,iterate_on
设置会有所帮助。
或者,对于仅需替换几个值的简单字符串搜索和替换,您可以考虑使用 mutate 过滤器的 gsub 函数。
可以提供多值字典值。使用 YAML 或 JSON 字典时,您可以将值设置为哈希(映射)或数组数据类型。使用 CSV 字典时,必须使用另一个过滤器(例如 Dissect 或 KV)提取翻译中的多个值。
请注意,fallback
是一个字符串,因此如果不匹配,则需要格式化 fallback 设置,以便过滤器可以将多个值提取到正确的字段。
基于文件的字典使用调度程序在单独的线程中加载。如果将 refresh_interval
设置为 300 秒(5 分钟)或更短时间,则会在重新加载之前检查文件的修改时间。支持非常大的字典,内部测试为 100,000 个键/值,并且我们通过在调度程序线程中进行刷新来最大程度地减少对吞吐量的影响。对字典文件的任何正在进行的修改都应使用复制/编辑/重命名或创建/重命名机制来完成,以避免刷新代码处理半成品字典内容。
翻译过滤器配置选项编辑
此插件支持以下配置选项以及稍后描述的通用选项。
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
有效的filesystem路径 |
否 |
|
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
是 |
||
否 |
||
否 |
||
否 |
另请参阅通用选项,了解所有过滤器插件支持的选项列表。
dictionary
编辑
- 值类型为哈希
- 默认值为
{}
用于翻译的字典,在 Logstash 过滤器配置项中指定时(即,不使用 dictionary_path
文件)。
示例
filter { translate { dictionary => { "100" => "Continue" "101" => "Switching Protocols" "merci" => "thank you" "old version" => "new version" } } }
同时指定 dictionary
和 dictionary_path
会导致错误。
dictionary_path
编辑
- 值类型为路径
- 此设置没有默认值。
外部字典文件的完整路径。表的格式应为标准 YAML、JSON 或 CSV。
在引号中指定任何基于整数的键。从事件的 source
设置中获取的值将转换为字符串。查找字典键也必须是字符串,并且引号使基于整数的键充当字符串。例如,YAML 文件应如下所示
"100": Continue "101": Switching Protocols merci: gracias old version: new version
同时指定 dictionary
和 dictionary_path
会导致错误。
当前支持的格式为 YAML、JSON 和 CSV。格式选择基于文件扩展名:json
用于 JSON,yaml
或 yml
用于 YAML,以及 csv
用于 CSV。CSV 格式需要正好两列,第一列作为原文(查找键),第二列作为翻译。
ecs_compatibility
编辑
- 值类型为字符串
-
支持的值为
-
disabled
:禁用 ECS 兼容性 -
v1
、v8
:与指定主版本的 Elastic 通用架构兼容
-
-
默认值取决于运行的 Logstash 版本
- 如果 Logstash 提供了
pipeline.ecs_compatibility
设置,则其值将用作默认值 - 否则,默认值为
disabled
。
- 如果 Logstash 提供了
控制此插件与Elastic 通用架构 (ECS)的兼容性。此设置的值会影响 target
的_默认_值。
exact
编辑
- 值类型为布尔值
- 默认值为
true
当 exact => true
时,translate 过滤器将使用字典值的精确内容填充目标字段。当 exact => false
时,过滤器将使用任何现有目标字段的数据的结果填充目标字段,并在适当的位置替换翻译后的值。
例如,考虑这个简单的 translation.yml,配置为检查 data
字段
foo: bar
如果 Logstash 收到一个 data
字段设置为 foo
的事件,并且 exact => true
,则目标字段将填充字符串 bar
。如果 exact => false
,并且 Logstash 收到相同的事件,则目标字段也将设置为 bar
。但是,如果 Logstash 收到一个 data
字段设置为 foofing
的事件,则目标字段将设置为 barfing
。
如果要使用字典键作为正则表达式进行匹配,请同时设置 exact => true
和 regex => `true
。在这种情况下,匹配大型字典的成本可能很高。
fallback
编辑
- 值类型为字符串
- 此设置没有默认值。
如果事件中没有发生翻译(没有匹配项),这将添加一个默认翻译字符串,如果匹配失败,该字符串将始终填充 field
。
例如,如果我们配置了 fallback => "no match"
,使用此字典
foo: bar
然后,如果 Logstash 收到一个 foo
字段设置为 bar
的事件,则目标字段将设置为 bar
。但是,如果 Logstash 收到一个 foo
字段设置为 nope
的事件,则目标字段仍然会被填充,但值为 no match
。此配置可以是动态的,并且可以使用 %{field}
语法包含事件的一部分。
iterate_on
编辑
- 值类型为字符串
- 此设置没有默认值。
当您需要对其执行充实的的值是一个可变大小的数组时,请在此设置中指定字段名称。此设置引入了两种模式:1) 当值是字符串数组时,2) 当值是对象数组时(如 JSON 对象)。
在第一种模式下,您应该在 source
和 iterate_on
中使用相同的字段名称,结果将是一个添加到 target
设置中指定的字段的数组。此数组将在与每个搜索值相同的序号位置包含查找值(或 fallback
值或 nil)。
在第二种模式下,在 iterate_on
中指定包含对象数组的字段,然后使用 source
指定每个对象中提供搜索值的字段,并使用 target
指定要将查找值(或 fallback
值)写入的字段。
对于字典
100,Yuki 101,Rupert 102,Ahmed 103,Kwame
模式 1 示例
filter { translate { iterate_on => "[collaborator_ids]" source => "[collaborator_ids]" target => "[collaborator_names]" fallback => "Unknown" } }
之前
{ "collaborator_ids": [100,103,110,102] }
之后
{ "collaborator_ids": [100,103,110,102], "collabrator_names": ["Yuki","Kwame","Unknown","Ahmed"] }
模式 2 示例
filter { translate { iterate_on => "[collaborators]" source => "[id]" target => "[name]" fallback => "Unknown" } }
之前
{ "collaborators": [ { "id": 100 }, { "id": 103 }, { "id": 110 }, { "id": 101 } ] }
之后
{ "collaborators": [ { "id": 100, "name": "Yuki" }, { "id": 103, "name": "Kwame" }, { "id": 110, "name": "Unknown" }, { "id": 101, "name": "Rupert" } ] }
override
编辑
- 值类型为布尔值
- 默认值取决于是否使用就地翻译
如果目标字段已存在,则此配置选项控制过滤器是跳过翻译(默认行为)还是用新的翻译值覆盖目标字段值。
在就地翻译的情况下,其中 target
与 source
相同(例如启用 ecs_compatibility
时),则允许覆盖。
refresh_behaviour
编辑
- 值类型为字符串
- 默认值为
merge
使用字典文件时,此设置指示如何执行更新。将其设置为 merge
会导致将新字典合并到旧字典中。这意味着将更新相同的条目,但在合并后,之前存在但新字典中不存在的条目将保留;replace
会导致整个字典被新字典替换(更新时删除旧字典的所有条目)。
source
编辑
- 这是必需的设置。
- 值类型为字符串
- 此设置没有默认值。
包含要由翻译过滤器比较以匹配的值的 Logstash 事件字段的名称(例如 message
、host
、response_code
)。
如果此字段是一个数组,则仅使用第一个值。
target
编辑
- 值类型为字符串
-
默认值取决于是否启用
ecs_compatibility
- ECS 兼容性禁用:
"translation"
- ECS 兼容性启用:默认为与
source
相同的值
- ECS 兼容性禁用:
您希望用翻译后的代码填充的目标字段。如果将此值设置为与 source
字段相同的值,则插件会进行替换,并且过滤器将成功。这将覆盖源字段的旧值!
通用选项编辑
所有过滤器插件都支持以下配置选项
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
add_field
编辑
- 值类型为 哈希
- 默认值为
{}
如果此过滤器成功,则向此事件添加任何任意字段。字段名称可以是动态的,并且可以使用 %{field}
包含事件的一部分。
示例
filter { translate { add_field => { "foo_%{somefield}" => "Hello world, from %{host}" } } }
# You can also add multiple fields at once: filter { translate { add_field => { "foo_%{somefield}" => "Hello world, from %{host}" "new_field" => "new_static_value" } } }
如果事件具有字段 "somefield" == "hello"
,则此过滤器在成功时将添加字段 foo_hello
(如果存在),其值为上述值,并将 %{host}
部分替换为事件中的该值。第二个示例还将添加一个硬编码字段。
add_tag
编辑
- 值类型为 数组
- 默认值为
[]
如果此过滤器成功,则向事件添加任意标签。标签可以是动态的,并且可以使用 %{field}
语法包含事件的一部分。
示例
filter { translate { add_tag => [ "foo_%{somefield}" ] } }
# You can also add multiple tags at once: filter { translate { add_tag => [ "foo_%{somefield}", "taggedy_tag"] } }
如果事件具有字段 "somefield" == "hello"
,则此过滤器在成功时将添加标签 foo_hello
(当然,第二个示例将添加 taggedy_tag
标签)。
id
编辑
- 值类型为 字符串
- 此设置没有默认值。
向插件配置添加唯一的 ID
。如果未指定 ID,Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,这特别有用,例如,如果您有 2 个翻译过滤器。在这种情况下添加命名 ID 将有助于在使用监控 API 时监控 Logstash。
filter { translate { id => "ABC" } }
id
字段中的变量替换仅支持环境变量,不支持使用密钥库中的值。
remove_field
编辑
- 值类型为 数组
- 默认值为
[]
如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并且可以使用 %{field} 示例
filter { translate { remove_field => [ "foo_%{somefield}" ] } }
# You can also remove multiple fields at once: filter { translate { remove_field => [ "foo_%{somefield}", "my_extraneous_field" ] } }
如果事件具有字段 "somefield" == "hello"
,则此过滤器在成功时将删除名称为 foo_hello
的字段(如果存在)。第二个示例将删除一个额外的非动态字段。
remove_tag
编辑
- 值类型为 数组
- 默认值为
[]
如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并且可以使用 %{field}
语法包含事件的一部分。
示例
filter { translate { remove_tag => [ "foo_%{somefield}" ] } }
# You can also remove multiple tags at once: filter { translate { remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"] } }
如果事件具有字段 "somefield" == "hello"
,则此过滤器在成功时将删除标签 foo_hello
(如果存在)。第二个示例还将删除一个不需要的标签。