指纹过滤器插件编辑

  • 插件版本:v3.4.4
  • 发布时间:2024-03-19
  • 更新日志

有关其他版本,请参阅版本化插件文档

获取帮助编辑

如果您对该插件有任何疑问,请在论坛中打开一个主题。对于错误或功能请求,请在Github中打开一个问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵

描述编辑

创建一个或多个字段的一致哈希值(指纹),并将结果存储在一个新字段中。

当事件被插入 Elasticsearch 时,您可以使用此插件创建一致的文档 ID。这种方法意味着可以更新现有文档,而不是创建新文档。

method选项设置为UUID时,结果将不是一致的哈希值,而是随机的UUID。要生成 UUID,建议使用uuid 过滤器

事件元数据和 Elastic 通用模式 (ECS)编辑

此插件将哈希值作为标识符添加到事件中。您可以配置target选项来更改输出字段。

当禁用 ECS 兼容性时,哈希值存储在fingerprint字段中。启用 ECS 时,该值存储在[event][hash]字段中。

以下是 ECS 兼容性模式如何影响输出。

ECS 已禁用 ECS v1 可用性 描述

fingerprint

[event][hash]

始终

事件的哈希值

指纹过滤器配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项

设置 输入类型 必需

base64encode

布尔值

concatenate_sources

布尔值

concatenate_all_fields

布尔值

ecs_compatibility

字符串

key

密码

method

字符串,以下之一:["SHA1", "SHA256", "SHA384", "SHA512", "MD5", "MURMUR3", "MURMUR3_128", IPV4_NETWORK", "UUID", "PUNCTUATION"]

source

数组

target

字符串

另请参阅通用选项,以获取所有过滤器插件支持的选项列表。

 

base64encode编辑

如果设置为true,则SHA1SHA256SHA384SHA512MD5MURMUR3_128指纹方法将生成 base64 编码的字符串,而不是十六进制编码的字符串。

concatenate_sources编辑

如果设置为truemethod不是UUIDPUNCTUATION,则插件会在执行指纹计算之前,将source选项中给出的所有字段的名称和值连接成一个字符串(类似于旧的校验和过滤器)。

如果为false并且给出了多个源字段,则目标字段将是最后一个源字段的单个指纹。

示例:concatenate_sources=false

此示例生成一个从最后一个源字段“birthday”计算得出的单个指纹。

fingerprint {
  source => ["user_id", "siblings", "birthday"]
}

输出为

"fingerprint" => "6b6390a4416131f82b6ffb509f6e779e5dd9630f".

示例:concatenate_sources=false,使用数组

如果最后一个源字段是数组,您将获得一个指纹数组。

在此示例中,“siblings”是一个数组 ["big brother", "little sister", "little brother"]。

fingerprint {
  source => ["user_id", "siblings"]
}

输出为

 "fingerprint" => [
        [0] "8a8a9323677f4095fcf0c8c30b091a0133b00641",
        [1] "2ce11b313402e0e9884e094409f8d9fcf01337c2",
        [2] "adc0b90f9391a82098c7b99e66a816e9619ad0a7"
    ],

concatenate_all_fields编辑

如果设置为truemethod不是UUIDPUNCTUATION,则插件会在执行指纹计算之前,将事件的所有字段的名称和值连接成一个字符串(类似于旧的校验和过滤器)。如果为false并且给出了至少一个源字段,则目标字段将是一个包含给定源字段的指纹的数组。

ecs_compatibility编辑

  • 值类型为字符串
  • 支持的值为

    • disabled:在根级别添加的非结构化数据
    • v1:使用与 Elastic 通用模式兼容的[event][hash]字段

控制此插件与Elastic 通用模式 (ECS)的兼容性。有关详细信息,请参阅事件元数据和 Elastic 通用模式 (ECS)

key编辑

  • 值类型为密码
  • 此设置没有默认值。

IPV4_NETWORK方法一起使用时,请填写子网前缀长度。对于其他方法,可以选择填写 HMAC 密钥。

method编辑

  • 这是一个必填设置。
  • 值可以是以下任意一项:SHA1SHA256SHA384SHA512MD5MURMUR3MURMUR3_128IPV4_NETWORKUUIDPUNCTUATION
  • 默认值为"SHA1"

要使用的指纹方法。

如果设置为SHA1SHA256SHA384SHA512MD5并设置了密钥,则使用相应的加密哈希函数和密钥哈希 (HMAC) 摘要函数来生成指纹。

如果设置为MURMUR3MURMUR3_128,则将使用非加密 MurmurHash 函数(分别为 32 位或 128 位实现)。

如果设置为IPV4_NETWORK,则输入数据需要是 IPv4 地址,并且哈希值将是使用key选项中指定的位数屏蔽后的地址。例如,如果输入为“1.2.3.4”,并且key设置为 16,则哈希值变为“1.2.0.0”。

如果设置为PUNCTUATION,则将从输入字符串中删除所有非标点符号。

如果设置为UUID,则会生成一个UUID。结果将是随机的,因此不是一致的哈希值。

source编辑

  • 值类型为数组
  • 默认值为"message"

将使用其内容创建指纹的源字段的名称。如果给定一个数组,请参阅concatenate_sources选项。

target编辑

  • 值类型为字符串
  • 禁用 ECS 时,默认值为"fingerprint"
  • 启用 ECS 时,默认值为"[event][hash]"

将存储生成的指纹的字段的名称。该字段的任何当前内容都将被覆盖。

通用选项编辑

所有过滤器插件都支持以下配置选项

add_field编辑

  • 值类型为哈希
  • 默认值为{}

如果此过滤器成功,则向此事件添加任意字段。字段名称可以是动态的,并且可以使用 %{field} 包含事件的一部分。

示例

    filter {
      fingerprint {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }
    # You can also add multiple fields at once:
    filter {
      fingerprint {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件的字段为 "somefield" == "hello",则此过滤器在成功时将添加字段 foo_hello(如果存在),其值为上述值,并将 %{host} 部分替换为事件中的该值。第二个示例还将添加一个硬编码字段。

add_tag编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则向事件添加任意标签。标签可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

示例

    filter {
      fingerprint {
        add_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also add multiple tags at once:
    filter {
      fingerprint {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件的字段为 "somefield" == "hello",则此过滤器在成功时将添加标签 foo_hello(当然,第二个示例将添加 taggedy_tag 标签)。

enable_metric编辑

禁用或启用此特定插件实例的指标日志记录。默认情况下,我们会记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

id编辑

  • 值类型为 字符串
  • 此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID,Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,例如,如果您有两个指纹过滤器,这将特别有用。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      fingerprint {
        id => "ABC"
      }
    }

id 字段中的变量替换仅支持环境变量,不支持使用密钥库中的值。

periodic_flush编辑

定期调用过滤器刷新方法。可选。

remove_field编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从此事件中删除任意字段。字段名称可以是动态的,并且可以使用 %{field}。示例

    filter {
      fingerprint {
        remove_field => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple fields at once:
    filter {
      fingerprint {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件的字段为 "somefield" == "hello",则此过滤器在成功时将删除名称为 foo_hello 的字段(如果存在)。第二个示例将删除另一个非动态字段。

remove_tag编辑

  • 值类型为 数组
  • 默认值为 []

如果此过滤器成功,则从事件中删除任意标签。标签可以是动态的,并且可以使用 %{field} 语法包含事件的一部分。

示例

    filter {
      fingerprint {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }
    # You can also remove multiple tags at once:
    filter {
      fingerprint {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件的字段为 "somefield" == "hello",则此过滤器在成功时将删除标签 foo_hello(如果存在)。第二个示例还将删除一个不需要的标签。