Translate 过滤器插件
编辑Translate 过滤器插件
编辑- 插件版本:v3.4.2
- 发布日期:2023-06-14
- 更新日志
其他版本,请参见 版本化插件文档。
获取帮助
编辑如有任何关于插件的问题,请在 Discuss 论坛中发帖提问。如发现错误或有功能请求,请在 Github 中提交 issue。有关 Elastic 支持的插件列表,请参阅 Elastic 支持矩阵。
描述
编辑一个通用的查找和替换工具,它使用配置的哈希表和/或文件来确定替换值。目前支持 YAML、JSON 和 CSV 文件。每个字典项都是一个键值对。
您可以通过以下两种方式之一指定字典条目:
dictionary
配置项可以包含一个表示映射的哈希表。- 可以在
dictionary_path
配置项中指定一个外部文件(Logstash 可读)。
这两种方法不能同时使用;否则会产生错误。
在操作上,对于每个事件,source
设置的值都会与字典进行比较,如果完全匹配(或在启用 regex
配置项时匹配正则表达式),则将匹配的值放入 target
字段,但如果没有匹配项,则使用 fallback
设置字符串。
示例
filter { translate { source => "[http][response][status_code]" target => "[http_status_description]" dictionary => { "100" => "Continue" "101" => "Switching Protocols" "200" => "OK" "500" => "Server Error" } fallback => "I'm a teapot" } }
有时,人们会发现他们有一个字段包含大小可变的值或对象的数组,这些值或对象需要一些补充信息。iterate_on
设置可以帮助解决这些问题。
或者,对于只需要对少量值进行简单的字符串查找和替换,您可以考虑使用 mutate 过滤器的 gsub 函数。
可以提供多值字典值。使用 YAML 或 JSON 字典时,可以将值设置为哈希表(映射)或数组数据类型。使用 CSV 字典时,必须使用其他过滤器(例如 Dissect 或 KV)提取翻译中的多个值。
请注意,fallback
是一个字符串,因此如果没有匹配项,则需要格式化 fallback 设置,以便过滤器可以将多个值提取到正确的字段中。
基于文件的字典使用调度程序在单独的线程中加载。如果将 refresh_interval
设置为 300 秒(5 分钟)或更短,则会在重新加载之前检查文件的修改时间。支持非常大的字典(内部测试为 100,000 个键/值),我们通过在调度程序线程中进行刷新来最大限度地减少对吞吐量的影响。任何正在进行的字典文件修改都应使用复制/编辑/重命名或创建/重命名机制来完成,以避免刷新代码处理半成品的字典内容。
与 Elastic Common Schema (ECS) 的兼容性
编辑如果 source
和 target
相同,则该插件充当就地转换器,并且不会生成任何新的事件字段。这是 ECS 兼容性模式中的默认行为。
Translate 过滤器配置选项
编辑此插件支持以下配置选项以及稍后描述的 常用选项。
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
有效的文件系统路径 |
否 |
|
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
是 |
||
否 |
||
否 |
||
否 |
另请参见 常用选项,了解所有过滤器插件支持的选项列表。
dictionary
编辑- 值类型为 哈希表
- 默认值为
{}
用于翻译的字典,在 Logstash 过滤器配置项中指定(即不要使用 dictionary_path
文件)。
示例
filter { translate { dictionary => { "100" => "Continue" "101" => "Switching Protocols" "merci" => "thank you" "old version" => "new version" } } }
同时指定 dictionary
和 dictionary_path
是错误的。
dictionary_path
编辑- 值类型为 路径
- 此设置没有默认值。
外部字典文件的完整路径。表的格式应为标准 YAML、JSON 或 CSV。
用引号括起来指定任何基于整数的键。从事件的 source
设置中获取的值将转换为字符串。查找字典键也必须是字符串,引号使基于整数的键能够充当字符串。例如,YAML 文件应如下所示:
"100": Continue "101": Switching Protocols merci: gracias old version: new version
同时指定 dictionary
和 dictionary_path
是错误的。
当前支持的格式为 YAML、JSON 和 CSV。格式选择基于文件扩展名:JSON 为 json
,YAML 为 yaml
或 yml
,CSV 为 csv
。CSV 格式预期恰好有两列,第一列作为原文本(查找键),第二列作为翻译。
ecs_compatibility
编辑- 值类型为 字符串
-
支持的值为:
-
disabled
:禁用 ECS 兼容性 -
v1
、v8
:与指定的 Elastic Common Schema 主版本兼容
-
-
默认值取决于正在运行的 Logstash 版本
- 当 Logstash 提供
pipeline.ecs_compatibility
设置时,其值将用作默认值 - 否则,默认值为
disabled
。
- 当 Logstash 提供
控制此插件与 Elastic Common Schema (ECS) 的兼容性。此设置的值会影响 target
的_默认_值。
exact
编辑- 值类型为 布尔值
- 默认值为
true
当 exact => true
时,translate 过滤器将使用字典值的精确内容填充目标字段。当 exact => false
时,过滤器将使用任何现有目标字段的数据以及就地替换的翻译值来填充目标字段。
例如,考虑这个简单的 translation.yml,配置为检查 data
字段:
foo: bar
如果 Logstash 收到一个 data
字段设置为 foo
的事件,并且 exact => true
,则目标字段将填充字符串 bar
。如果 exact => false
,并且 Logstash 收到相同的事件,则目标字段也将设置为 bar
。但是,如果 Logstash 收到一个 data
字段设置为 foofing
的事件,则目标字段将设置为 barfing
。
如果要使用字典键作为正则表达式进行匹配,请同时设置 exact => true
和 regex => `true`
。在这种情况下,大型字典的匹配可能代价很高。
fallback
编辑- 值类型为 字符串
- 此设置没有默认值。
如果事件中没有发生转换(没有匹配项),这将添加一个默认的转换字符串,如果匹配失败,它将始终填充 field
。
例如,如果我们配置了 fallback => "no match"
,使用此字典:
foo: bar
那么,如果 Logstash 收到一个 foo
字段设置为 bar
的事件,则目标字段将设置为 bar
。但是,如果 Logstash 收到一个 foo
字段设置为 nope
的事件,则目标字段仍将被填充,但值为 no match
。此配置可以是动态的,并使用 %{field}
语法包含事件的一部分。
iterate_on
编辑- 值类型为 字符串
- 此设置没有默认值。
当您需要进行补充的信息的值是一个大小可变的数组时,请在此设置中指定字段名。此设置引入了两种模式,1) 值是字符串数组时,以及 2) 值是对象数组(如 JSON 对象)时。
在第一种模式下,您应该在 source
和 iterate_on
中使用相同的字段名,结果将是一个添加到 target
设置中指定的字段的数组。此数组将具有查找值(或 fallback
值或 nil),其顺序与每个查找值相同。
在第二种模式下,请在 iterate_on
中指定具有对象数组的字段,然后使用 source
指定每个对象中提供查找值的对象的字段,并使用 target
指定写入查找值(或 fallback
值)的字段。
对于字典:
100,Yuki 101,Rupert 102,Ahmed 103,Kwame
模式 1 示例
filter { translate { iterate_on => "[collaborator_ids]" source => "[collaborator_ids]" target => "[collaborator_names]" fallback => "Unknown" } }
之前
{ "collaborator_ids": [100,103,110,102] }
之后
{ "collaborator_ids": [100,103,110,102], "collabrator_names": ["Yuki","Kwame","Unknown","Ahmed"] }
模式 2 示例
filter { translate { iterate_on => "[collaborators]" source => "[id]" target => "[name]" fallback => "Unknown" } }
之前
{ "collaborators": [ { "id": 100 }, { "id": 103 }, { "id": 110 }, { "id": 101 } ] }
之后
{ "collaborators": [ { "id": 100, "name": "Yuki" }, { "id": 103, "name": "Kwame" }, { "id": 110, "name": "Unknown" }, { "id": 101, "name": "Rupert" } ] }
override
编辑- 值类型为 布尔值
- 默认值取决于是否正在使用就地转换
如果目标字段已存在,则此配置选项将控制过滤器是跳过转换(默认行为)还是用新的转换值覆盖目标字段值。
如果进行就地翻译,其中target
与source
相同(例如,启用ecs_compatibility
时),则允许覆盖。
refresh_behaviour
编辑- 值类型为 字符串
- 默认值为
merge
使用字典文件时,此设置指示如何执行更新。将其设置为merge
会导致将新字典合并到旧字典中。这意味着相同的条目将被更新,但之前存在但在新字典中不存在的条目在合并后将保留;replace
会导致整个字典被新的字典替换(在更新时删除旧字典的所有条目)。
source
编辑- 这是必需的设置。
- 值类型为 字符串
- 此设置没有默认值。
包含要由translate过滤器匹配的值的Logstash事件字段的名称(例如message
、host
、response_code
)。
如果此字段是数组,则仅使用第一个值。
target
编辑- 值类型为 字符串
-
默认值取决于是否启用了
ecs_compatibility
- 禁用ECS兼容性:
"translation"
- 启用ECS兼容性:默认为与
source
相同的值
- 禁用ECS兼容性:
您希望使用翻译后的代码填充的目标字段。如果将此值设置为与source
字段相同的值,则插件会进行替换,并且过滤器将成功。这将覆盖源字段的旧值!
常用选项
编辑所有过滤器插件都支持这些配置选项
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
add_field
编辑- 值类型为哈希表
- 默认值为
{}
如果此过滤器成功,则将任意字段添加到此事件。字段名称可以是动态的,并使用%{field}
包含事件的部分。
示例
filter { translate { add_field => { "foo_%{somefield}" => "Hello world, from %{host}" } } }
# You can also add multiple fields at once: filter { translate { add_field => { "foo_%{somefield}" => "Hello world, from %{host}" "new_field" => "new_static_value" } } }
如果事件具有字段"somefield" == "hello"
,则此过滤器成功后,如果存在,将添加字段foo_hello
,其值为上述值,并且%{host}
部分将被事件中的该值替换。第二个示例还将添加一个硬编码字段。
add_tag
编辑- 值类型为数组
- 默认值为
[]
如果此过滤器成功,则将任意标签添加到事件。标签可以是动态的,并使用%{field}
语法包含事件的部分。
示例
filter { translate { add_tag => [ "foo_%{somefield}" ] } }
# You can also add multiple tags at once: filter { translate { add_tag => [ "foo_%{somefield}", "taggedy_tag"] } }
如果事件具有字段"somefield" == "hello"
,则此过滤器成功后,将添加标签foo_hello
(当然,第二个示例将添加taggedy_tag
标签)。
id
编辑- 值类型为字符串
- 此设置没有默认值。
向插件配置添加唯一的ID
。如果没有指定ID,Logstash将生成一个。强烈建议在配置中设置此ID。当您有两个或多个相同类型的插件时,这尤其有用,例如,如果您有两个translate过滤器。在这种情况下添加命名ID将有助于在使用监控API时监控Logstash。
filter { translate { id => "ABC" } }
id
字段中的变量替换仅支持环境变量,不支持使用密钥存储中的值。
remove_field
编辑- 值类型为数组
- 默认值为
[]
如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并使用%{field} 示例
filter { translate { remove_field => [ "foo_%{somefield}" ] } }
# You can also remove multiple fields at once: filter { translate { remove_field => [ "foo_%{somefield}", "my_extraneous_field" ] } }
如果事件具有字段"somefield" == "hello"
,则此过滤器成功后,如果存在,将删除名为foo_hello
的字段。第二个示例将删除另一个非动态字段。
remove_tag
编辑- 值类型为数组
- 默认值为
[]
如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并使用%{field}
语法包含事件的部分。
示例
filter { translate { remove_tag => [ "foo_%{somefield}" ] } }
# You can also remove multiple tags at once: filter { translate { remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"] } }
如果事件具有字段"somefield" == "hello"
,则此过滤器成功后,如果存在,将删除标签foo_hello
。第二个示例还将删除一个令人不快的、不需要的标签。