Grok 过滤器插件

The dissect 过滤器插件是另一种使用分隔符将非结构化事件数据提取到字段中的方法。

Dissect 与 Grok 的区别在于它不使用正则表达式，速度更快。当数据可靠地重复时，Dissect 非常有效。当文本结构在行与行之间变化时，Grok 是更好的选择。

当行的一部分可靠地重复，但整行不重复时，您可以将 Dissect 和 Grok 用于混合用例。Dissect 过滤器可以分解重复的行部分。Grok 过滤器可以使用更多正则表达式可预测性来处理剩余的字段值。

在第一次匹配时中断。grok 的第一次成功匹配将导致过滤器完成。如果您希望 grok 尝试所有模式（也许您正在解析不同的内容），则将其设置为 false。

控制此插件与 Elastic Common Schema (ECS) 的兼容性。此设置的值会影响匹配复合模式（例如 HTTPD_COMMONLOG）时的提取事件字段名称。

如果 true，则将空捕获保留为事件字段。

一个哈希，它定义了查找位置以及使用哪些模式的映射。

例如，以下内容将匹配 message 字段中现有值的给定模式，如果找到匹配项，则将使用捕获的值将字段 duration 添加到事件中

    filter {
      grok {
        match => {
          "message" => "Duration: %{NUMBER:duration}"
        }
      }
    }

如果需要对单个字段匹配多个模式，则该值可以是模式数组。

    filter {
      grok {
        match => {
          "message" => [
            "Duration: %{NUMBER:duration}",
            "Speed: %{NUMBER:speed}"
          ]
        }
      }
    }

要对多个字段执行匹配，只需在 match 哈希中使用多个条目。

    filter {
      grok {
        match => {
          "speed" => "Speed: %{NUMBER:speed}"
          "duration" => "Duration: %{NUMBER:duration}"
        }
      }
    }

但是，如果一个模式依赖于先前模式创建的字段，请将它们分成两个单独的 grok 过滤器。

    filter {
      grok {
        match => {
          "message" => "Hi, the rest of the message is: %{GREEDYDATA:rest}"
        }
      }
      grok {
        match => {
          "rest" => "a number %{NUMBER:number}, and a word %{WORD:word}"
        }
      }
    }

如果为 true，则仅存储来自 grok 的命名捕获。

要覆盖的字段。

这允许您覆盖已存在字段中的值。

例如，如果您在 message 字段中有一个 syslog 行，您可以使用以下方式用匹配的一部分覆盖 message 字段。

    filter {
      grok {
        match => { "message" => "%{SYSLOGBASE} %{DATA:message}" }
        overwrite => [ "message" ]
      }
    }

在这种情况下，类似于 May 29 16:37:11 sadness logger: hello world 的行将被解析，并且 hello world 将覆盖原始消息。

如果在 overwrite 中使用字段引用，则必须在模式中使用字段引用。示例

    filter {
      grok {
        match => { "somefield" => "%{NUMBER} %{GREEDYDATA:[nested][field][test]}" }
        overwrite => [ "[nested][field][test]" ]
      }
    }

一个模式名称和模式元组的哈希，定义当前过滤器要使用的自定义模式。匹配现有名称的模式将覆盖预先存在的定义。可以将其视为仅供此 grok 定义使用的内联模式。

Logstash 默认情况下附带了许多模式，因此您不必自己定义它，除非您要添加其他模式。您可以使用此设置指向多个模式目录。请注意，Grok 将读取目录中与 patterns_files_glob 匹配的所有文件，并假定它是一个模式文件（包括任何波浪号备份文件）。

    patterns_dir => ["/opt/logstash/patterns", "/opt/logstash/extra_patterns"]

模式文件是纯文本，格式为

    NAME PATTERN

例如

    NUMBER \d+

模式在创建管道时加载。

Glob 模式，用于选择 patterns_dir 指定的目录中的模式文件。

在没有成功匹配时，将值追加到 tags 字段。

如果 grok 正则表达式超时，要应用的标签。

定义放置匹配项的目标命名空间。

尝试在此时间量后终止正则表达式。如果应用了多个模式，则此时间量适用于每个模式。这永远不会过早超时，但可能需要更长的时间才能超时。实际超时时间是基于 250 毫秒量化的近似值。设置为 0 以禁用超时。

当向 match 提供多个模式时，超时历来适用于每个模式，对尝试的每个模式都会产生开销；当 grok 过滤器配置为 timeout_scope => event 时，插件改为在事件上对所有尝试的匹配强制执行单个超时，因此它可以以更少的开销实现类似的防范失控匹配器。

通常最好将超时范围设置为整个事件。

如果此过滤器成功，则将任何任意字段添加到此事件。字段名称可以是动态的，并使用 %{field} 包含事件的一部分。

示例

    filter {
      grok {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }

    # You can also add multiple fields at once:
    filter {
      grok {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加字段 foo_hello（如果存在），其值为上述值，并且 %{host} 部分将替换为事件中的该值。第二个示例还将添加一个硬编码字段。

如果此过滤器成功，则将任意标签添加到事件。标签可以是动态的，并使用 %{field} 语法包含事件的一部分。

示例

    filter {
      grok {
        add_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also add multiple tags at once:
    filter {
      grok {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加标签 foo_hello（当然，第二个示例将添加一个 taggedy_tag 标签）。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可能的指标，但您可以禁用特定插件的指标收集。

在插件配置中添加一个唯一的 ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 grok 过滤器。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      grok {
        id => "ABC"
      }
    }

以定期间隔调用过滤器刷新方法。可选。

如果此过滤器成功，则从此事件中删除任意字段。字段名称可以是动态的，并使用 %{field} 示例包含事件的一部分。

    filter {
      grok {
        remove_field => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple fields at once:
    filter {
      grok {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除名为 foo_hello 的字段（如果存在）。第二个示例将删除一个额外的非动态字段。

如果此过滤器成功，则从事件中删除任意标签。标签可以是动态的，并使用 %{field} 语法包含事件的一部分。

示例

    filter {
      grok {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple tags at once:
    filter {
      grok {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除标签 foo_hello（如果存在）。第二个示例还将删除一个令人悲伤的、不需要的标签。