Translate 过滤器插件

编辑
  • 插件版本:v3.4.2
  • 发布日期:2023-06-14
  • 更新日志

其他版本,请参见 版本化插件文档

获取帮助

编辑

如有任何关于插件的问题,请在 Discuss 论坛中发帖提问。如发现错误或有功能请求,请在 Github 中提交 issue。有关 Elastic 支持的插件列表,请参阅 Elastic 支持矩阵

描述

编辑

一个通用的查找和替换工具,它使用配置的哈希表和/或文件来确定替换值。目前支持 YAML、JSON 和 CSV 文件。每个字典项都是一个键值对。

您可以通过以下两种方式之一指定字典条目:

  • dictionary 配置项可以包含一个表示映射的哈希表。
  • 可以在 dictionary_path 配置项中指定一个外部文件(Logstash 可读)。

这两种方法不能同时使用;否则会产生错误。

在操作上,对于每个事件,source 设置的值都会与字典进行比较,如果完全匹配(或在启用 regex 配置项时匹配正则表达式),则将匹配的值放入 target 字段,但如果没有匹配项,则使用 fallback 设置字符串。

示例

    filter {
      translate {
        source => "[http][response][status_code]"
        target => "[http_status_description]"
        dictionary => {
          "100" => "Continue"
          "101" => "Switching Protocols"
          "200" => "OK"
          "500" => "Server Error"
        }
        fallback => "I'm a teapot"
      }
    }

有时,人们会发现他们有一个字段包含大小可变的值或对象的数组,这些值或对象需要一些补充信息。iterate_on 设置可以帮助解决这些问题。

或者,对于只需要对少量值进行简单的字符串查找和替换,您可以考虑使用 mutate 过滤器的 gsub 函数。

可以提供多值字典值。使用 YAML 或 JSON 字典时,可以将值设置为哈希表(映射)或数组数据类型。使用 CSV 字典时,必须使用其他过滤器(例如 Dissect 或 KV)提取翻译中的多个值。
请注意,fallback 是一个字符串,因此如果没有匹配项,则需要格式化 fallback 设置,以便过滤器可以将多个值提取到正确的字段中。

基于文件的字典使用调度程序在单独的线程中加载。如果将 refresh_interval 设置为 300 秒(5 分钟)或更短,则会在重新加载之前检查文件的修改时间。支持非常大的字典(内部测试为 100,000 个键/值),我们通过在调度程序线程中进行刷新来最大限度地减少对吞吐量的影响。任何正在进行的字典文件修改都应使用复制/编辑/重命名或创建/重命名机制来完成,以避免刷新代码处理半成品的字典内容。

与 Elastic Common Schema (ECS) 的兼容性

编辑

如果 sourcetarget 相同,则该插件充当就地转换器,并且不会生成任何新的事件字段。这是 ECS 兼容性模式中的默认行为。

Translate 过滤器配置选项

编辑

此插件支持以下配置选项以及稍后描述的 常用选项

另请参见 常用选项,了解所有过滤器插件支持的选项列表。

 

destination

编辑

在 3.3.0 中弃用。

请使用 target。在 4.0 中,此设置将被删除。

dictionary

编辑

用于翻译的字典,在 Logstash 过滤器配置项中指定(即不要使用 dictionary_path 文件)。

示例

    filter {
      translate {
        dictionary => {
          "100"         => "Continue"
          "101"         => "Switching Protocols"
          "merci"       => "thank you"
          "old version" => "new version"
        }
      }
    }

同时指定 dictionarydictionary_path 是错误的。

dictionary_path

编辑
  • 值类型为 路径
  • 此设置没有默认值。

外部字典文件的完整路径。表的格式应为标准 YAML、JSON 或 CSV。

用引号括起来指定任何基于整数的键。从事件的 source 设置中获取的值将转换为字符串。查找字典键也必须是字符串,引号使基于整数的键能够充当字符串。例如,YAML 文件应如下所示:

    "100": Continue
    "101": Switching Protocols
    merci: gracias
    old version: new version

同时指定 dictionarydictionary_path 是错误的。

当前支持的格式为 YAML、JSON 和 CSV。格式选择基于文件扩展名:JSON 为 json,YAML 为 yamlyml,CSV 为 csv。CSV 格式预期恰好有两列,第一列作为原文本(查找键),第二列作为翻译。

ecs_compatibility

编辑
  • 值类型为 字符串
  • 支持的值为:

    • disabled:禁用 ECS 兼容性
    • v1v8:与指定的 Elastic Common Schema 主版本兼容
  • 默认值取决于正在运行的 Logstash 版本

    • 当 Logstash 提供 pipeline.ecs_compatibility 设置时,其值将用作默认值
    • 否则,默认值为 disabled

控制此插件与 Elastic Common Schema (ECS) 的兼容性。此设置的值会影响 target 的_默认_值。

exact

编辑

exact => true 时,translate 过滤器将使用字典值的精确内容填充目标字段。当 exact => false 时,过滤器将使用任何现有目标字段的数据以及就地替换的翻译值来填充目标字段。

例如,考虑这个简单的 translation.yml,配置为检查 data 字段:

    foo: bar

如果 Logstash 收到一个 data 字段设置为 foo 的事件,并且 exact => true,则目标字段将填充字符串 bar。如果 exact => false,并且 Logstash 收到相同的事件,则目标字段也将设置为 bar。但是,如果 Logstash 收到一个 data 字段设置为 foofing 的事件,则目标字段将设置为 barfing

如果要使用字典键作为正则表达式进行匹配,请同时设置 exact => trueregex => `true`。在这种情况下,大型字典的匹配可能代价很高。

fallback

编辑
  • 值类型为 字符串
  • 此设置没有默认值。

如果事件中没有发生转换(没有匹配项),这将添加一个默认的转换字符串,如果匹配失败,它将始终填充 field

例如,如果我们配置了 fallback => "no match",使用此字典:

    foo: bar

那么,如果 Logstash 收到一个 foo 字段设置为 bar 的事件,则目标字段将设置为 bar。但是,如果 Logstash 收到一个 foo 字段设置为 nope 的事件,则目标字段仍将被填充,但值为 no match。此配置可以是动态的,并使用 %{field} 语法包含事件的一部分。

field

编辑

在 3.3.0 中弃用。

请使用 source。在 4.0 中,此设置将被删除。

iterate_on

编辑
  • 值类型为 字符串
  • 此设置没有默认值。

当您需要进行补充的信息的值是一个大小可变的数组时,请在此设置中指定字段名。此设置引入了两种模式,1) 值是字符串数组时,以及 2) 值是对象数组(如 JSON 对象)时。
在第一种模式下,您应该在 sourceiterate_on 中使用相同的字段名,结果将是一个添加到 target 设置中指定的字段的数组。此数组将具有查找值(或 fallback 值或 nil),其顺序与每个查找值相同。
在第二种模式下,请在 iterate_on 中指定具有对象数组的字段,然后使用 source 指定每个对象中提供查找值的对象的字段,并使用 target 指定写入查找值(或 fallback 值)的字段。

对于字典:

  100,Yuki
  101,Rupert
  102,Ahmed
  103,Kwame

模式 1 示例

    filter {
      translate {
        iterate_on => "[collaborator_ids]"
        source     => "[collaborator_ids]"
        target     => "[collaborator_names]"
        fallback => "Unknown"
      }
    }

之前

  {
    "collaborator_ids": [100,103,110,102]
  }

之后

  {
    "collaborator_ids": [100,103,110,102],
    "collabrator_names": ["Yuki","Kwame","Unknown","Ahmed"]
  }

模式 2 示例

    filter {
      translate {
        iterate_on => "[collaborators]"
        source     => "[id]"
        target     => "[name]"
        fallback   => "Unknown"
      }
    }

之前

  {
    "collaborators": [
      {
        "id": 100
      },
      {
        "id": 103
      },
      {
        "id": 110
      },
      {
        "id": 101
      }
    ]
  }

之后

  {
    "collaborators": [
      {
        "id": 100,
        "name": "Yuki"
      },
      {
        "id": 103,
        "name": "Kwame"
      },
      {
        "id": 110,
        "name": "Unknown"
      },
      {
        "id": 101,
        "name": "Rupert"
      }
    ]
  }

override

编辑
  • 值类型为 布尔值
  • 默认值取决于是否正在使用就地转换

如果目标字段已存在,则此配置选项将控制过滤器是跳过转换(默认行为)还是用新的转换值覆盖目标字段值。

如果进行就地翻译,其中targetsource相同(例如,启用ecs_compatibility时),则允许覆盖。

refresh_interval

编辑
  • 值类型为数字
  • 默认值为300

使用字典文件时,此设置将指示Logstash多久(以秒为单位)检查一次字典文件是否有更新。
值为零或小于零将禁用刷新。

regex

编辑

要将字典键视为正则表达式,请设置regex => true

请务必转义字典键字符串以用于正则表达式。网上有关于正则表达式格式的资源。

refresh_behaviour

编辑

使用字典文件时,此设置指示如何执行更新。将其设置为merge会导致将新字典合并到旧字典中。这意味着相同的条目将被更新,但之前存在但在新字典中不存在的条目在合并后将保留;replace会导致整个字典被新的字典替换(在更新时删除旧字典的所有条目)。

source

编辑
  • 这是必需的设置。
  • 值类型为 字符串
  • 此设置没有默认值。

包含要由translate过滤器匹配的值的Logstash事件字段的名称(例如messagehostresponse_code)。

如果此字段是数组,则仅使用第一个值。

target

编辑
  • 值类型为 字符串
  • 默认值取决于是否启用了ecs_compatibility

    • 禁用ECS兼容性:"translation"
    • 启用ECS兼容性:默认为与source相同的值

您希望使用翻译后的代码填充的目标字段。如果将此值设置为与source字段相同的值,则插件会进行替换,并且过滤器将成功。这将覆盖源字段的旧值!

yaml_dictionary_code_point_limit

编辑
  • 值类型为数字
  • 默认值为134217728(对于1字节代码点为128MB)

dictionary_path中YAML文件的最大代码点数。请注意,字节限制取决于编码。此设置仅对YAML文件有效。超过限制的YAML将抛出异常。

常用选项

编辑

所有过滤器插件都支持这些配置选项

add_field

编辑

如果此过滤器成功,则将任意字段添加到此事件。字段名称可以是动态的,并使用%{field}包含事件的部分。

示例

    filter {
      translate {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      translate {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段"somefield" == "hello",则此过滤器成功后,如果存在,将添加字段foo_hello,其值为上述值,并且%{host}部分将被事件中的该值替换。第二个示例还将添加一个硬编码字段。

add_tag

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则将任意标签添加到事件。标签可以是动态的,并使用%{field}语法包含事件的部分。

示例

    filter {
      translate {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      translate {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段"somefield" == "hello",则此过滤器成功后,将添加标签foo_hello(当然,第二个示例将添加taggedy_tag标签)。

enable_metric

编辑

禁用或启用此特定插件实例的指标日志记录。默认情况下,我们会记录所有可以记录的指标,但是您可以禁用特定插件的指标收集。

  • 值类型为字符串
  • 此设置没有默认值。

向插件配置添加唯一的ID。如果没有指定ID,Logstash将生成一个。强烈建议在配置中设置此ID。当您有两个或多个相同类型的插件时,这尤其有用,例如,如果您有两个translate过滤器。在这种情况下添加命名ID将有助于在使用监控API时监控Logstash。

    filter {
      translate {
        id => "ABC"
      }
    }

id字段中的变量替换仅支持环境变量,不支持使用密钥存储中的值。

periodic_flush

编辑

定期调用过滤器刷新方法。可选。

remove_field

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并使用%{field} 示例

    filter {
      translate {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      translate {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段"somefield" == "hello",则此过滤器成功后,如果存在,将删除名为foo_hello的字段。第二个示例将删除另一个非动态字段。

remove_tag

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并使用%{field}语法包含事件的部分。

示例

    filter {
      translate {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      translate {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段"somefield" == "hello",则此过滤器成功后,如果存在,将删除标签foo_hello。第二个示例还将删除一个令人不快的、不需要的标签。