Xml 过滤器插件

编辑
  • 插件版本:v4.2.1
  • 发布日期:2024-10-29
  • 变更日志

对于其他版本,请参阅 版本化插件文档

获取帮助

编辑

如有关于插件的问题,请在 Discuss 论坛中发起主题讨论。如需报告错误或提出功能请求,请在 Github 中提交 issue。有关 Elastic 支持的插件列表,请查阅 Elastic 支持矩阵

描述

编辑

XML 过滤器。接收包含 XML 的字段,并将其扩展为实际的数据结构。

Xml 过滤器配置选项

编辑

此插件支持以下配置选项以及稍后描述的 通用选项

另请参阅 通用选项,了解所有过滤器插件支持的选项列表。

 

force_array

编辑

默认情况下,过滤器会强制将单个元素存储为数组。将其设置为 false 将阻止将单个元素存储在数组中。

force_content

编辑

默认情况下,过滤器会以不同于标签内内容的方式扩展属性。此选项允许您强制文本内容和属性始终解析为哈希值。

namespaces

编辑

默认情况下,仅考虑根元素上的命名空间声明。这允许配置所有命名空间声明以解析 XML 文档。

示例

filter {
  xml {
    namespaces => {
      "xsl" => "http://www.w3.org/1999/XSL/Transform"
      "xhtml" => "http://www.w3.org/1999/xhtml"
    }
  }
}

parse_options

编辑
  • 值类型为 字符串
  • 此设置没有默认值。

设置 XML 解析选项可以更好地控制解析过程。默认情况下,解析器不严格,因此会接受一些无效内容。当前支持的选项为

  • strict - 强制解析器尽早失败,而不是在内容不是有效 xml 时累积错误。

不允许使用 ASCII 0x0 等控制字符,并且始终会导致 XML 无效。

如果 XML 内容无效,则将其标记为 _xmlparsefailure

XML 规范

remove_namespaces

编辑

删除文档中所有节点的所有命名空间。当然,如果文档具有名称相同但命名空间不同的节点,则它们现在将变得模棱两可。

source

编辑
  • 这是一个必填设置。
  • 值类型为 字符串
  • 此设置没有默认值。

用于将 xml 转换为哈希表的配置为

    source => source_field

例如,如果您的 message 字段中包含整个 XML 文档

    filter {
      xml {
        source => "message"
      }
    }

以上内容将解析 message 字段中的 XML。

store_xml

编辑

默认情况下,过滤器会将整个解析后的 XML 存储在目标字段中,如上所述。将其设置为 false 将阻止此操作。

suppress_empty

编辑

默认情况下,如果元素为空,则不输出任何内容。如果设置为 false,则空元素将导致空哈希对象。

target

编辑
  • 值类型为 字符串
  • 此设置没有默认值。

定义放置数据的目标

例如,如果您希望将数据放入 doc 字段中

    filter {
      xml {
        target => "doc"
      }
    }

源字段值中的 XML 将扩展到 target 字段中的数据结构。注意:如果 target 字段已存在,它将被覆盖。如果 store_xml 为 true(默认为 true),则为必填。

xpath

编辑

xpath 将另外从解析的 XML(使用上面使用该方法定义的每个源字段)中选择字符串值(非字符串将使用 Ruby 的 to_s 函数转换为字符串),并将这些值放置在目标字段中。配置

xpath => [ "xpath-syntax", "destination-field" ]

xpath-syntax 解析 XPath 返回的值将被放入目标字段。返回的多个值将作为数组推送到目标字段。因此,跨多个源字段的多个匹配将在字段中产生重复条目。

其他 XPath 资源
编辑

有关 XPath 的更多信息,请参阅 https://w3schools.org.cn/xml/xml_xpath.asp

XPath 函数 非常强大。

通用选项

编辑

所有过滤器插件都支持这些配置选项

add_field

编辑

如果此过滤器成功,则向此事件添加任意字段。字段名称可以是动态的,并包含使用 %{field} 的事件部分。

示例

    filter {
      xml {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      xml {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将添加字段 foo_hello(如果存在),其值为以上内容,并将 %{host} 部分替换为事件中的该值。第二个示例还将添加一个硬编码字段。

add_tag

编辑
  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则向事件添加任意标签。标签可以是动态的,并包含使用 %{field} 语法的事件部分。

示例

    filter {
      xml {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      xml {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将添加标签 foo_hello(第二个示例当然会添加 taggedy_tag 标签)。

enable_metric

编辑

禁用或启用此特定插件实例的指标日志记录。默认情况下,我们会记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

  • 值类型为 字符串
  • 此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID,Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,这尤其有用,例如,如果您有两个 xml 过滤器。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      xml {
        id => "ABC"
      }
    }

id 字段中的变量替换仅支持环境变量,不支持使用密钥存储中的值。

periodic_flush

编辑

以定期间隔调用过滤器刷新方法。可选。

remove_field

编辑
  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并包含使用 %{field} 的事件部分示例

    filter {
      xml {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      xml {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除名称为 foo_hello 的字段(如果存在)。第二个示例将删除另一个非动态字段。

remove_tag

编辑
  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并包含使用 %{field} 语法的事件部分。

示例

    filter {
      xml {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      xml {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello",则此过滤器在成功时将删除标签 foo_hello(如果存在)。第二个示例还将删除一个令人不快的、不需要的标签。