New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« Sleep 过滤器插件 Syslog_pri 过滤器插件 »
Elastic 文档 ›Logstash 参考 [8.17] ›过滤器插件

拆分过滤器插件

编辑

拆分过滤器插件

编辑
  • 插件版本：v3.1.8
  • 发布日期：2020-01-21
  • 变更日志

有关其他版本，请参阅版本化插件文档。

获取帮助

编辑

有关插件的问题，请在Discuss论坛中开启一个主题。有关错误或功能请求，请在Github中开启一个问题。有关 Elastic 支持的插件列表，请参阅Elastic 支持矩阵。

描述

编辑

拆分过滤器通过拆分事件的其中一个字段，并将拆分产生的每个值放入原始事件的克隆中来克隆事件。要拆分的字段可以是字符串或数组。

此过滤器的一个示例用例是采用exec 输入插件的输出，该插件为命令的整个输出发出一个事件，并按换行符拆分该输出，使每行成为一个事件。

拆分过滤器还可用于将事件中的数组字段拆分为单独的事件。JSON 和 XML 中一种非常常见的模式是使用列表将数据分组在一起。

例如，像这样的 JSON 结构

{ field1: ...,
 results: [
   { result ... },
   { result ... },
   { result ... },
   ...
] }

可以在上述数据上使用拆分过滤器来为results字段的每个值创建单独的事件

filter {
 split {
   field => "results"
 }
}

每次拆分的最终结果是事件的完整副本，仅更改了给定字段的当前拆分部分。

拆分过滤器配置选项

编辑

此插件支持以下配置选项以及稍后描述的常用选项。

设置 输入类型 必需

field

字符串

否

target

字符串

否

终止符

字符串

否

另请参阅常用选项，获取所有过滤器插件支持的选项列表。

 

field

编辑
  • 值类型为字符串
  • 默认值为"message"

该字段的值由终止符拆分。可以是多行消息或数组的 ID。嵌套数组的引用方式如下：“[object_id][array_id]”

target

编辑
  • 值类型为字符串
  • 此设置没有默认值。

新事件中值拆分到的字段。如果未设置，目标字段将默认为拆分字段名称。

terminator

编辑

用于拆分的字符串。这通常是行终止符，但可以是任何字符串。如果要将 JSON 数组拆分为多个事件，则可以忽略此字段。

常用选项

编辑

所有过滤器插件都支持以下配置选项

设置 输入类型 必需

add_field

哈希

否

add_tag

数组

否

enable_metric

布尔值

否

id

字符串

否

periodic_flush

布尔值

否

remove_field

数组

否

remove_tag

数组

否

add_field

编辑
  • 值类型为哈希
  • 默认值为{}

如果此过滤器成功，则向此事件添加任何任意字段。字段名称可以是动态的，并使用%{field}包含事件的部分。

示例

    filter {
      split {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      split {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段"somefield" == "hello"，则此过滤器在成功时，如果存在，则将添加字段foo_hello，其值为上述值，并且%{host}部分将替换为事件中的值。第二个示例还会添加一个硬编码字段。

add_tag

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功，则向事件添加任意标记。标记可以是动态的，并使用%{field}语法包含事件的部分。

示例

    filter {
      split {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      split {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段"somefield" == "hello"，则此过滤器在成功时，将添加标记foo_hello（第二个示例当然会添加taggedy_tag标记）。

enable_metric

编辑

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但是您可以为特定插件禁用指标收集。

id

编辑
  • 值类型为字符串
  • 此设置没有默认值。

向插件配置添加唯一的ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，此 ID 特别有用，例如，如果您有 2 个拆分过滤器。在这种情况下添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      split {
        id => "ABC"
      }
    }

id字段中的变量替换仅支持环境变量，不支持使用来自密钥存储的值。

periodic_flush

编辑

定期调用过滤器刷新方法。可选。

remove_field

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功，则从此事件中删除任意字段。字段名称可以是动态的，并使用 %{field} 示例包含事件的部分

    filter {
      split {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      split {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段"somefield" == "hello"，则此过滤器在成功时，如果存在，则将删除名称为foo_hello的字段。第二个示例将删除一个额外的非动态字段。

remove_tag

编辑
  • 值类型为数组
  • 默认值为[]

如果此过滤器成功，则从事件中删除任意标记。标记可以是动态的，并使用%{field}语法包含事件的部分。

示例

    filter {
      split {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      split {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段"somefield" == "hello"，则此过滤器在成功时，如果存在，则将删除标记foo_hello。第二个示例还将删除一个悲伤的，不需要的标记。

« Sleep 过滤器插件 Syslog_pri 过滤器插件 »