« Jdbc_streaming 过滤器插件 Json_encode 过滤器插件 »

› ›

JSON 过滤器插件

编辑

JSON 过滤器插件

编辑

插件版本: v3.2.1
发布日期: 2023-12-18
变更日志

对于其他版本，请参阅版本化插件文档。

获取帮助

编辑

如有关于插件的问题，请在 Discuss 论坛中发起主题讨论。对于错误或功能请求，请在 Github 中提交问题。有关 Elastic 支持的插件列表，请查阅 Elastic 支持矩阵。

描述

编辑

这是一个 JSON 解析过滤器。它接收包含 JSON 的现有字段，并将其扩展为 Logstash 事件中的实际数据结构。

默认情况下，它会将解析后的 JSON 放置在 Logstash 事件的根（顶层），但此过滤器可以配置为使用 target 配置将 JSON 放置到任何任意事件字段中。

此插件在事件解析过程中发生错误时有一些后备方案。如果 JSON 解析在数据上失败，则事件将保持不变，并会标记为 _jsonparsefailure；然后可以使用条件语句清理数据。可以使用 tag_on_failure 选项配置此标记。

如果解析后的数据包含 @timestamp 字段，则插件将尝试将其用于事件的 @timestamp，如果解析失败，则该字段将重命名为 _@timestamp，并且事件将被标记为 _timestampparsefailure。

事件元数据和 Elastic Common Schema (ECS)

编辑

无论 ECS 兼容性如何，插件的行为都相同，除了在启用 ECS 且未设置 target 时发出警告。

设置 target 选项以避免潜在的模式冲突。

JSON 过滤器配置选项

编辑

此插件支持以下配置选项以及稍后描述的通用选项。

设置	输入类型	必填
`ecs_compatibility`	字符串	否
`skip_on_invalid_json`	布尔值	否
`source`	字符串	是
`tag_on_failure`	数组	否
`target`	字符串	否

另请参阅通用选项，以获取所有过滤器插件支持的选项列表。

`ecs_compatibility`

编辑

值类型为字符串
支持的值为
- disabled：不使用与 ECS 兼容的字段名称
- v1：Elastic Common Schema 兼容行为（在未设置 target 时发出警告）

控制此插件与 Elastic Common Schema (ECS) 的兼容性。有关详细信息，请参阅事件元数据和 Elastic Common Schema (ECS)。

`skip_on_invalid_json`

编辑

值类型为布尔值
默认值为 false

允许在无效 JSON 上跳过过滤器（这允许您处理 JSON 和非 JSON 数据而不会出现警告）

`source`

编辑

这是一个必填设置。
值类型为字符串
此设置没有默认值。

JSON 过滤器的配置

    source => source_field

例如，如果 message 字段中包含 JSON 数据

    filter {
      json {
        source => "message"
      }
    }

以上操作将从 message 字段解析 JSON。

`tag_on_failure`

编辑

值类型为数组
默认值为 ["_jsonparsefailure"]

在没有成功匹配时，将值追加到 tags 字段

`target`

编辑

值类型为字符串
此设置没有默认值。

定义放置解析数据的目标字段。如果省略此设置，则 JSON 数据将存储在事件的根（顶层）。

例如，如果希望数据放在 doc 字段中

    filter {
      json {
        target => "doc"
      }
    }

source 字段值的 JSON 将扩展为 target 字段中的数据结构。

如果 target 字段已存在，它将被覆盖！

通用选项

编辑

所有过滤器插件都支持这些配置选项

设置	输入类型	必填
`add_field`	哈希表	否
`add_tag`	数组	否
`enable_metric`	布尔值	否
`id`	字符串	否
`periodic_flush`	布尔值	否
`remove_field`	数组	否
`remove_tag`	数组	否

`add_field`

编辑

值类型为哈希表
默认值为 {}

如果此过滤器成功，则将任何任意字段添加到此事件。字段名称可以是动态的，并包含使用 %{field} 的事件部分。

示例

    filter {
      json {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }

    # You can also add multiple fields at once:
    filter {
      json {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加字段 foo_hello（如果存在），其值为上述值，并且 %{host} 部分将替换为事件中的该值。第二个示例还将添加一个硬编码字段。

`add_tag`

编辑

值类型为数组
默认值为 []

如果此过滤器成功，则将任意标记添加到事件。标记可以是动态的，并包含使用 %{field} 语法的事件部分。

示例

    filter {
      json {
        add_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also add multiple tags at once:
    filter {
      json {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加一个标记 foo_hello（当然，第二个示例将添加一个 taggedy_tag 标记）。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 json 过滤器。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      json {
        id => "ABC"
      }
    }

id 字段中的变量替换仅支持环境变量，不支持使用密钥存储中的值。

`periodic_flush`

编辑

值类型为布尔值
默认值为 false

定期调用过滤器刷新方法。可选。

`remove_field`

编辑

值类型为数组
默认值为 []

如果此过滤器成功，则从此事件中删除任意字段。字段名称可以是动态的，并包含使用 %{field} 示例的事件部分

    filter {
      json {
        remove_field => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple fields at once:
    filter {
      json {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除名称为 foo_hello 的字段（如果存在）。第二个示例将删除一个额外的非动态字段。

`remove_tag`

编辑

值类型为数组
默认值为 []

如果此过滤器成功，则从事件中删除任意标记。标记可以是动态的，并包含使用 %{field} 语法的事件部分。

示例

    filter {
      json {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple tags at once:
    filter {
      json {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除标记 foo_hello（如果存在）。第二个示例还将删除一个令人沮丧的、不需要的标记。

« Jdbc_streaming 过滤器插件 Json_encode 过滤器插件 »