Grok 过滤器插件

dissect 过滤器插件是另一种使用分隔符将非结构化事件数据提取到字段中的方法。

Dissect 与 Grok 的不同之处在于它不使用正则表达式，并且速度更快。当数据可靠地重复出现时，Dissect 非常有效。当文本结构逐行变化时，Grok 是更好的选择。

当行的某个部分可靠地重复出现，但整行不是时，您可以将 Dissect 和 Grok 用于混合用例。Dissect 过滤器可以解构行中重复的部分。Grok 过滤器可以使用更多的正则表达式可预测性来处理其余的字段值。

在第一次匹配时中断。grok 的第一次成功匹配将导致过滤器完成。如果您希望 grok 尝试所有模式（也许您正在解析不同的内容），则将此项设置为 false。

控制此插件与Elastic 通用架构 (ECS)的兼容性。当匹配复合模式（例如 HTTPD_COMMONLOG）时，此设置的值会影响提取的事件字段名称。

如果为 true，则将空捕获保留为事件字段。

一个哈希，定义了在哪里查找以及使用哪些模式的映射。

例如，以下内容将匹配 message 字段中的现有值以获得给定的模式，如果找到匹配项，则将字段 duration 添加到事件中，并带有捕获的值

    filter {
      grok {
        match => {
          "message" => "Duration: %{NUMBER:duration}"
        }
      }
    }

如果您需要对单个字段匹配多个模式，则该值可以是模式数组

    filter {
      grok {
        match => {
          "message" => [
            "Duration: %{NUMBER:duration}",
            "Speed: %{NUMBER:speed}"
          ]
        }
      }
    }

若要对多个字段执行匹配，只需在 match 哈希中使用多个条目

    filter {
      grok {
        match => {
          "speed" => "Speed: %{NUMBER:speed}"
          "duration" => "Duration: %{NUMBER:duration}"
        }
      }
    }

但是，如果一个模式依赖于先前模式创建的字段，请将其分隔为两个单独的 grok 过滤器

    filter {
      grok {
        match => {
          "message" => "Hi, the rest of the message is: %{GREEDYDATA:rest}"
        }
      }
      grok {
        match => {
          "rest" => "a number %{NUMBER:number}, and a word %{WORD:word}"
        }
      }
    }

如果为 true，则仅存储来自 grok 的命名捕获。

要覆盖的字段。

这允许您覆盖已存在的字段中的值。

例如，如果您的 message 字段中有一行 syslog 行，您可以覆盖 message 字段，其中包含匹配项的一部分，如下所示

    filter {
      grok {
        match => { "message" => "%{SYSLOGBASE} %{DATA:message}" }
        overwrite => [ "message" ]
      }
    }

在这种情况下，像 May 29 16:37:11 sadness logger: hello world 这样的行将被解析，并且 hello world 将覆盖原始消息。

如果您在 overwrite 中使用字段引用，则必须在模式中使用字段引用。示例

    filter {
      grok {
        match => { "somefield" => "%{NUMBER} %{GREEDYDATA:[nested][field][test]}" }
        overwrite => [ "[nested][field][test]" ]
      }
    }

一个模式名称和模式元组的哈希，定义了当前过滤器使用的自定义模式。与现有名称匹配的模式将覆盖预先存在的定义。可以将其视为仅对此 grok 定义可用的内联模式

Logstash 默认自带许多模式，因此除非您要添加额外的模式，否则您不必自己定义。您可以使用此设置指向多个模式目录。请注意，Grok 将读取目录中所有匹配 patterns_files_glob 的文件，并将其视为模式文件（包括任何波浪号备份文件）。

    patterns_dir => ["/opt/logstash/patterns", "/opt/logstash/extra_patterns"]

模式文件是纯文本格式，如下所示：

    NAME PATTERN

例如：

    NUMBER \d+

模式会在管道创建时加载。

Glob 模式，用于选择由 patterns_dir 指定目录中的模式文件

当没有成功匹配时，将值附加到 tags 字段

如果 grok 正则表达式超时，则应用的标签。

定义放置匹配项的目标命名空间。

在此时间后尝试终止正则表达式。如果应用了多个模式，则此设置适用于每个模式。这永远不会提前超时，但可能需要更长的时间才能超时。实际超时是基于 250 毫秒量化的近似值。设置为 0 可禁用超时

当向 match 提供多个模式时，超时通常应用于每个模式，从而导致尝试每个模式时产生开销；当 grok 过滤器配置为 timeout_scope => event 时，插件改为在事件的所有尝试匹配中强制执行单个超时，因此它可以以显著更少的开销实现对失控匹配器的类似保护。

通常最好将超时范围限定为整个事件。

如果此过滤器成功，则向此事件添加任何任意字段。字段名称可以是动态的，并且可以使用 %{field} 包括事件的部分内容。

示例

    filter {
      grok {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }

    # You can also add multiple fields at once:
    filter {
      grok {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加字段 foo_hello（如果存在），其值如上所示，并且 %{host} 部分被事件中的该值替换。第二个示例还将添加一个硬编码字段。

如果此过滤器成功，则向事件添加任意标签。标签可以是动态的，并且可以使用 %{field} 语法包括事件的部分内容。

示例

    filter {
      grok {
        add_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also add multiple tags at once:
    filter {
      grok {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加标签 foo_hello（第二个示例当然会添加 taggedy_tag 标签）。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但是您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，则 Logstash 将生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 grok 过滤器。在这种情况下添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

    filter {
      grok {
        id => "ABC"
      }
    }

定期调用过滤器刷新方法。可选。

如果此过滤器成功，则从此事件中删除任意字段。字段名称可以是动态的，并且可以使用 %{field} 包括事件的部分内容。示例

    filter {
      grok {
        remove_field => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple fields at once:
    filter {
      grok {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除名称为 foo_hello 的字段（如果存在）。第二个示例将删除一个额外的非动态字段。

如果此过滤器成功，则从此事件中删除任意标签。标签可以是动态的，并且可以使用 %{field} 语法包括事件的部分内容。

示例

    filter {
      grok {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple tags at once:
    filter {
      grok {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除标签 foo_hello（如果存在）。第二个示例也将删除一个令人不快的、不需要的标签。