Xml 过滤器插件编辑

  • 插件版本:v4.2.0
  • 发布时间:2022-08-17
  • 更新日志

有关其他版本,请参阅版本化插件文档

获取帮助编辑

如有关于插件的问题,请在论坛中打开一个主题。对于错误或功能请求,请在Github中打开一个问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵

描述编辑

XML 过滤器。获取包含 XML 的字段并将其扩展为实际数据结构。

Xml 过滤器配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项

另请参阅通用选项,以获取所有过滤器插件支持的选项列表。

 

force_array编辑

默认情况下,过滤器会强制将单个元素存储为数组。将其设置为 false 将阻止将单个元素存储在数组中。

force_content编辑

默认情况下,过滤器会以不同于标签内内容的方式扩展属性。此选项允许您强制文本内容和属性始终解析为哈希值。

namespaces编辑

  • 值类型为哈希
  • 默认值为{}

默认情况下,仅考虑根元素上的命名空间声明。这允许配置所有命名空间声明以解析 XML 文档。

示例

filter {
  xml {
    namespaces => {
      "xsl" => "http://www.w3.org/1999/XSL/Transform"
      "xhtml" => "http://www.w3.org/1999/xhtml"
    }
  }
}

parse_options编辑

  • 值类型为字符串
  • 此设置没有默认值。

设置 XML 解析选项允许更多地控制解析过程。默认情况下,解析器不严格,因此接受一些无效内容。当前支持的选项有

  • strict - 强制解析器在内容不是有效的 xml 时尽早失败,而不是累积错误。

不允许使用 ASCII 0x0 等控制字符,并且*始终*会导致 XML 无效。

如果 XML 内容无效,它将被标记为_xmlparsefailure

XML 规范

remove_namespaces编辑

从文档中的所有节点中删除所有命名空间。当然,如果文档中存在名称相同但命名空间不同的节点,那么它们现在将变得不明确。

source编辑

  • 这是一个必填设置。
  • 值类型为字符串
  • 此设置没有默认值。

xml 到哈希的配置为

    source => source_field

例如,如果您的message字段中包含整个 XML 文档

    filter {
      xml {
        source => "message"
      }
    }

以上内容将从message字段中解析 XML。

store_xml编辑

默认情况下,过滤器会将整个解析后的 XML 存储在目标字段中,如上所述。将其设置为 false 将阻止这种情况发生。

suppress_empty编辑

默认情况下,如果元素为空,则不输出任何内容。如果设置为false,则空元素将导致一个空的哈希对象。

target编辑

  • 值类型为字符串
  • 此设置没有默认值。

定义放置数据的目标

例如,如果您希望将数据放入doc字段中

    filter {
      xml {
        target => "doc"
      }
    }

源字段值中的 XML 将在target字段中扩展为数据结构。注意:如果target字段已存在,它将被覆盖。如果store_xml为 true(默认值),则为必填项。

xpath编辑

  • 值类型为哈希
  • 默认值为{}

xpath 还将从解析后的 XML(使用上述方法定义的每个源字段)中选择字符串值(非字符串将使用 Ruby 的to_s函数转换为字符串),并将这些值放在目标字段中。配置

xpath => [ "xpath-syntax", "destination-field" ]

xpath-syntax的 XPath 解析返回的值将被放入目标字段中。返回的多个值将作为数组推送到目标字段中。因此,跨多个源字段的多个匹配将在字段中产生重复的条目。

其他 XPath 资源编辑

有关 XPath 的更多信息,请参阅https://w3schools.org.cn/xml/xml_xpath.asp

XPath 函数特别强大。

通用选项编辑

以下配置选项受所有过滤器插件支持

add_field编辑

  • 值类型为哈希
  • 默认值为{}

如果此过滤器成功,则向此事件添加任何任意字段。字段名称可以是动态的,并且可以使用%{field}包含事件的一部分。

示例

    filter {
      xml {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      xml {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件的字段"somefield" == "hello",则此过滤器在成功时将添加字段foo_hello(如果存在),其值为上述值,并将%{host}部分替换为事件中的该值。第二个示例还将添加一个硬编码字段。

add_tag编辑

  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则向事件添加任意标签。标签可以是动态的,并且可以使用%{field}语法包含事件的一部分。

示例

    filter {
      xml {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      xml {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件的字段"somefield" == "hello",则此过滤器在成功时将添加标签foo_hello(当然,第二个示例将添加taggedy_tag标签)。

enable_metric编辑

禁用或启用此特定插件实例的指标记录。默认情况下,我们会记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

id编辑

  • 值类型为字符串
  • 此设置没有默认值。

向插件配置添加唯一的ID。如果没有指定 ID,Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时,例如,如果您有 2 个 xml 过滤器,这将特别有用。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      xml {
        id => "ABC"
      }
    }

id字段中的变量替换仅支持环境变量,不支持使用密钥存储中的值。

periodic_flush编辑

定期调用过滤器刷新方法。可选。

remove_field编辑

  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并且可以使用 %{field} 示例包含事件的一部分。

    filter {
      xml {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      xml {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除名称为 foo_hello 的字段(如果存在)。第二个示例将删除另一个非动态字段。

remove_tag编辑

  • 值类型为数组
  • 默认值为[]

如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

示例

    filter {
      xml {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      xml {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除标签 foo_hello(如果存在)。第二个示例还将删除一个不需要的标签。