翻译过滤器插件编辑

  • 插件版本:v3.4.2
  • 发布时间:2023-06-14
  • 更新日志

有关其他版本,请参阅版本化插件文档

获取帮助编辑

如果您对该插件有任何疑问,请在论坛中发帖。如有错误或功能请求,请在Github中提交问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵

描述编辑

一个通用的搜索和替换工具,它使用配置的哈希值和/或文件来确定替换值。目前支持 YAML、JSON 和 CSV 文件。每个字典项都是一个键值对。

您可以通过以下两种方式之一指定字典条目

  • dictionary 配置项可以包含表示映射的哈希值。
  • 可以在 dictionary_path 配置项中指定外部文件(可由 Logstash 读取)。

这两种方法不能同时使用;否则会产生错误。

在操作上,对于每个事件,都会根据字典测试 source 设置中的值,如果完全匹配(或在启用 regex 配置项时匹配正则表达式),则匹配的值将放入 target 字段中,但如果不匹配,则使用 fallback 设置字符串。

示例

    filter {
      translate {
        source => "[http][response][status_code]"
        target => "[http_status_description]"
        dictionary => {
          "100" => "Continue"
          "101" => "Switching Protocols"
          "200" => "OK"
          "500" => "Server Error"
        }
        fallback => "I'm a teapot"
      }
    }

有时,人们会发现他们有一个字段,其中包含需要进行一些丰富处理的可变大小的值或对象数组。在这种情况下,iterate_on 设置会有所帮助。

或者,对于仅需替换几个值的简单字符串搜索和替换,您可以考虑使用 mutate 过滤器的 gsub 函数。

可以提供多值字典值。使用 YAML 或 JSON 字典时,您可以将值设置为哈希(映射)或数组数据类型。使用 CSV 字典时,必须使用另一个过滤器(例如 Dissect 或 KV)提取翻译中的多个值。
请注意,fallback 是一个字符串,因此如果不匹配,则需要格式化 fallback 设置,以便过滤器可以将多个值提取到正确的字段。

基于文件的字典使用调度程序在单独的线程中加载。如果将 refresh_interval 设置为 300 秒(5 分钟)或更短时间,则会在重新加载之前检查文件的修改时间。支持非常大的字典,内部测试为 100,000 个键/值,并且我们通过在调度程序线程中进行刷新来最大程度地减少对吞吐量的影响。对字典文件的任何正在进行的修改都应使用复制/编辑/重命名或创建/重命名机制来完成,以避免刷新代码处理半成品字典内容。

与 Elastic 通用架构 (ECS) 的兼容性编辑

如果 sourcetarget 相同,则该插件充当就地翻译器,并且不会生成任何新的事件字段。这是ECS 兼容模式下的默认行为。

翻译过滤器配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项

另请参阅通用选项,了解所有过滤器插件支持的选项列表。

 

destination编辑

在 3.3.0 中已弃用。

请改用 target。在 4.0 中,此设置将被删除。

dictionary编辑

  • 值类型为哈希
  • 默认值为 {}

用于翻译的字典,在 Logstash 过滤器配置项中指定时(即,不使用 dictionary_path 文件)。

示例

    filter {
      translate {
        dictionary => {
          "100"         => "Continue"
          "101"         => "Switching Protocols"
          "merci"       => "thank you"
          "old version" => "new version"
        }
      }
    }

同时指定 dictionarydictionary_path 会导致错误。

dictionary_path编辑

  • 值类型为路径
  • 此设置没有默认值。

外部字典文件的完整路径。表的格式应为标准 YAML、JSON 或 CSV。

在引号中指定任何基于整数的键。从事件的 source 设置中获取的值将转换为字符串。查找字典键也必须是字符串,并且引号使基于整数的键充当字符串。例如,YAML 文件应如下所示

    "100": Continue
    "101": Switching Protocols
    merci: gracias
    old version: new version

同时指定 dictionarydictionary_path 会导致错误。

当前支持的格式为 YAML、JSON 和 CSV。格式选择基于文件扩展名:json 用于 JSON,yamlyml 用于 YAML,以及 csv 用于 CSV。CSV 格式需要正好两列,第一列作为原文(查找键),第二列作为翻译。

ecs_compatibility编辑

  • 值类型为字符串
  • 支持的值为

    • disabled:禁用 ECS 兼容性
    • v1v8:与指定主版本的 Elastic 通用架构兼容
  • 默认值取决于运行的 Logstash 版本

    • 如果 Logstash 提供了 pipeline.ecs_compatibility 设置,则其值将用作默认值
    • 否则,默认值为 disabled

控制此插件与Elastic 通用架构 (ECS)的兼容性。此设置的值会影响 target 的_默认_值。

exact编辑

exact => true 时,translate 过滤器将使用字典值的精确内容填充目标字段。当 exact => false 时,过滤器将使用任何现有目标字段的数据的结果填充目标字段,并在适当的位置替换翻译后的值。

例如,考虑这个简单的 translation.yml,配置为检查 data 字段

    foo: bar

如果 Logstash 收到一个 data 字段设置为 foo 的事件,并且 exact => true,则目标字段将填充字符串 bar。如果 exact => false,并且 Logstash 收到相同的事件,则目标字段也将设置为 bar。但是,如果 Logstash 收到一个 data 字段设置为 foofing 的事件,则目标字段将设置为 barfing

如果要使用字典键作为正则表达式进行匹配,请同时设置 exact => trueregex => `true。在这种情况下,匹配大型字典的成本可能很高。

fallback编辑

  • 值类型为字符串
  • 此设置没有默认值。

如果事件中没有发生翻译(没有匹配项),这将添加一个默认翻译字符串,如果匹配失败,该字符串将始终填充 field

例如,如果我们配置了 fallback => "no match",使用此字典

    foo: bar

然后,如果 Logstash 收到一个 foo 字段设置为 bar 的事件,则目标字段将设置为 bar。但是,如果 Logstash 收到一个 foo 字段设置为 nope 的事件,则目标字段仍然会被填充,但值为 no match。此配置可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

field编辑

在 3.3.0 中已弃用。

请改用 source。在 4.0 中,此设置将被删除。

iterate_on编辑

  • 值类型为字符串
  • 此设置没有默认值。

当您需要对其执行充实的的值是一个可变大小的数组时,请在此设置中指定字段名称。此设置引入了两种模式:1) 当值是字符串数组时,2) 当值是对象数组时(如 JSON 对象)。
在第一种模式下,您应该在 sourceiterate_on 中使用相同的字段名称,结果将是一个添加到 target 设置中指定的字段的数组。此数组将在与每个搜索值相同的序号位置包含查找值(或 fallback 值或 nil)。
在第二种模式下,在 iterate_on 中指定包含对象数组的字段,然后使用 source 指定每个对象中提供搜索值的字段,并使用 target 指定要将查找值(或 fallback 值)写入的字段。

对于字典

  100,Yuki
  101,Rupert
  102,Ahmed
  103,Kwame

模式 1 示例

    filter {
      translate {
        iterate_on => "[collaborator_ids]"
        source     => "[collaborator_ids]"
        target     => "[collaborator_names]"
        fallback => "Unknown"
      }
    }

之前

  {
    "collaborator_ids": [100,103,110,102]
  }

之后

  {
    "collaborator_ids": [100,103,110,102],
    "collabrator_names": ["Yuki","Kwame","Unknown","Ahmed"]
  }

模式 2 示例

    filter {
      translate {
        iterate_on => "[collaborators]"
        source     => "[id]"
        target     => "[name]"
        fallback   => "Unknown"
      }
    }

之前

  {
    "collaborators": [
      {
        "id": 100
      },
      {
        "id": 103
      },
      {
        "id": 110
      },
      {
        "id": 101
      }
    ]
  }

之后

  {
    "collaborators": [
      {
        "id": 100,
        "name": "Yuki"
      },
      {
        "id": 103,
        "name": "Kwame"
      },
      {
        "id": 110,
        "name": "Unknown"
      },
      {
        "id": 101,
        "name": "Rupert"
      }
    ]
  }

override编辑

  • 值类型为布尔值
  • 默认值取决于是否使用就地翻译

如果目标字段已存在,则此配置选项控制过滤器是跳过翻译(默认行为)还是用新的翻译值覆盖目标字段值。

在就地翻译的情况下,其中 targetsource 相同(例如启用 ecs_compatibility 时),则允许覆盖。

refresh_interval编辑

  • 值类型为 数字
  • 默认值为 300

使用字典文件时,此设置将指示 Logstash 检查字典文件更新的频率(以秒为单位)。
零或更小的值将禁用刷新。

regex编辑

要将字典键视为正则表达式,请设置 regex => true

请务必转义字典键字符串以用于正则表达式。有关正则表达式格式化的资源可在线获取。

refresh_behaviour编辑

使用字典文件时,此设置指示如何执行更新。将其设置为 merge 会导致将新字典合并到旧字典中。这意味着将更新相同的条目,但在合并后,之前存在但新字典中不存在的条目将保留;replace 会导致整个字典被新字典替换(更新时删除旧字典的所有条目)。

source编辑

  • 这是必需的设置。
  • 值类型为字符串
  • 此设置没有默认值。

包含要由翻译过滤器比较以匹配的值的 Logstash 事件字段的名称(例如 messagehostresponse_code)。

如果此字段是一个数组,则仅使用第一个值。

target编辑

  • 值类型为字符串
  • 默认值取决于是否启用 ecs_compatibility

    • ECS 兼容性禁用:"translation"
    • ECS 兼容性启用:默认为与 source 相同的值

您希望用翻译后的代码填充的目标字段。如果将此值设置为与 source 字段相同的值,则插件会进行替换,并且过滤器将成功。这将覆盖源字段的旧值!

yaml_dictionary_code_point_limit编辑

  • 值类型为 数字
  • 默认值为 134217728(对于 1 字节代码点为 128MB)

dictionary_path 中 YAML 文件中的最大代码点数。请注意,字节限制取决于编码。此设置仅对 YAML 文件有效。超过限制的 YAML 会引发异常。

通用选项编辑

所有过滤器插件都支持以下配置选项

add_field编辑

  • 值类型为 哈希
  • 默认值为 {}

如果此过滤器成功,则向此事件添加任何任意字段。字段名称可以是动态的,并且可以使用 %{field} 包含事件的一部分。

示例

    filter {
      translate {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      translate {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将添加字段 foo_hello(如果存在),其值为上述值,并将 %{host} 部分替换为事件中的该值。第二个示例还将添加一个硬编码字段。

add_tag编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则向事件添加任意标签。标签可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

示例

    filter {
      translate {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      translate {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将添加标签 foo_hello(当然,第二个示例将添加 taggedy_tag 标签)。

enable_metric编辑

禁用或启用此特定插件实例的指标记录。默认情况下,我们会记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

id编辑

  • 值类型为 字符串
  • 此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID,Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,这特别有用,例如,如果您有 2 个翻译过滤器。在这种情况下添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      translate {
        id => "ABC"
      }
    }

id 字段中的变量替换仅支持环境变量,不支持使用密钥库中的值。

periodic_flush编辑

定期调用过滤器刷新方法。可选。

remove_field编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并且可以使用 %{field} 示例

    filter {
      translate {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      translate {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除名称为 foo_hello 的字段(如果存在)。第二个示例将删除一个额外的非动态字段。

remove_tag编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

示例

    filter {
      translate {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      translate {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除标签 foo_hello(如果存在)。第二个示例还将删除一个不需要的标签。