Grok 处理器

无服务器 技术预览

Grok 处理器解析非结构化日志消息并从中提取字段。 它使用一组预定义的模式来匹配日志消息并提取字段。 Grok 处理器非常强大，可以解析各种日志格式。

您可以向 Grok 处理器提供多个模式。 Grok 处理器将尝试按照提供的顺序将日志消息与每个模式进行匹配。 如果模式匹配，将提取字段，并且不会使用剩余的模式。 如果模式不匹配，Grok 处理器将尝试下一个模式。 如果没有模式匹配，Grok 处理器将失败，您可以对问题进行故障排除。 有关更多信息，请参阅生成模式。

首先从最常见的模式开始，然后在稍后添加更具体的模式。 这减少了 Grok 处理器必须执行的运行次数，并提高了管道的性能。

此功能使用 Elasticsearch Grok 管道处理器。 有关更多信息，请参阅 Elasticsearch 文档中的Grok 处理器。

Grok 处理器使用一组预定义的模式来匹配日志消息并提取字段。 您还可以通过展开可选字段部分来定义您自己的模式定义。 这将允许您定义自己的模式并在 Grok 处理器中使用它们。 模式以下列格式定义

{
  "MY_DATE": "%{YEAR}-%{MONTHNUM}-%{MONTHDAY}"
}

其中MY_DATE是模式的名称。 然后可以在处理器中使用上述模式

%{MY_DATE:date}

需要配置 LLM 连接器。 您可以使用生成模式按钮来为您生成模式，而不是手动编写 Grok 模式。

可以通过单击模式旁边的加号图标来接受模式。 这会将模式添加到要在 Grok 处理器中使用的模式列表中。

在幕后，右侧的 100 个样本被分组为相似消息的类别。 对于每个类别，通过将一些样本发送到 LLM 来生成 Grok 模式。 然后，匹配的模式会显示在 UI 中。