添加缓存元数据

编辑

此功能处于技术预览阶段,可能会在将来的版本中更改或删除。Elastic 将努力解决任何问题,但技术预览中的功能不受官方 GA 功能的支持 SLA 的约束。

cache 处理器使用先前缓存的事件中的信息来丰富事件。

processors:
  - cache:
      backend:
        memory:
          id: cache_id
      put:
        key_field: join_key_field
        value_field: source_field
processors:
  - cache:
      backend:
        memory:
          id: cache_id
      get:
        key_field: join_key_field
        target_field: destination_field
processors:
  - cache:
      backend:
        memory:
          id: cache_id
      delete:
        key_field: join_key_field

添加到目标字段的字段将取决于提供程序。

它具有以下设置

必须提供 backend.memory.idbackend.file.id 之一。

backend.capacity
缓存中可以存储的元素数量。put 操作如果会导致容量超出,则会导致最旧元素被逐出。零或零以下的值表示没有限制。容量不应低于处理输入时预期引用的元素数量,因为被逐出的元素会丢失。默认为 0,无限制。
backend.memory.id
基于内存的缓存的 ID。在实例之间使用相同的 ID 来引用相同的缓存。
backend.file.id
基于文件的缓存的 ID。在实例之间使用相同的 ID 来引用相同的缓存。
backend.file.write_interval
定期将缓存写入后备文件的间隔。有效的时间单位为 h、m、s、ms、us/µs 和 ns。仅当 backend.file.write_interval 大于零时才会进行定期写入。在处理器关闭时,内容始终会被写入后备文件。默认为零,不进行定期写入。

必须提供 putgetdelete 之一。

put.key_field
包含要放入缓存的键的字段名称。如果存在 put,则需要此字段。
put.value_field
包含要放入缓存的值的字段名称。如果存在 put,则需要此字段。
put.ttl
与缓存的键/值关联的 TTL。有效的时间单位为 h、m、s、ms、us/µs 和 ns。如果存在 put,则需要此字段。
get.key_field
包含要获取的键的字段名称。如果存在 get,则需要此字段。
get.target_field
将缓存值写入到的字段名称。如果存在 get,则需要此字段。
delete.key_field
包含要删除的键的字段名称。如果存在 delete,则需要此字段。
ignore_missing
(可选) 当设置为 false 时,不包含 match_keys 中任何字段的事件将被丢弃,并且会生成错误。默认情况下,忽略此条件。
overwrite_keys
(可选) 默认情况下,如果目标字段已存在,则不会覆盖它,并且会记录错误。如果 overwrite_keys 设置为 true,则会忽略此条件。

cache 处理器可用于在 Beat 中执行事件流中文档之间的联接。

processors:
  - if:
      contains:
        log.file.path: fdrv2/aidmaster
    then:
      - cache:
          backend:
            memory:
              id: aidmaster
            capacity: 10000
          put:
            ttl: 168h
            key_field: crowdstrike.aid
            value_field: crowdstrike.metadata
    else:
      - cache:
          backend:
            memory:
              id: aidmaster
          get:
            key_field: crowdstrike.aid
            target_field: crowdstrike.metadata

这将使用 log.file.path 不等于“fdrv2/aidmaster”的事件丰富事件,并使用来自 log.file.path 等于该值的事件的 crowdstrike.metadata 字段,其中源文档和目标文档之间的 crowdstrike.aid 字段匹配。容量允许在 putget 操作之间缓存多达 10,000 个元数据对象。