分类日志条目

编辑

应用程序日志事件通常是非结构化的,并且包含可变数据。许多日志消息相同或非常相似,因此对它们进行分类可以将数百万行日志减少为几个类别。

类别页面使您能够快速识别日志事件中的模式。无需手动识别相似的日志,日志分类视图会列出根据消息和格式分组的日志事件,以便您可以更快地采取行动。

此功能使用机器学习异常检测作业。要设置作业,您必须拥有 机器学习all Kibana 功能权限。在 Kibana 空间内对机器学习功能具有完全或只读访问权限的用户可以查看该空间中可见的所有异常检测作业的结果,即使他们无权访问这些作业的源索引。您必须仔细考虑谁被授予机器学习功能的访问权限;异常检测作业结果可能会将包含敏感信息的源索引中的字段值传播到结果中。有关更多详细信息,请参阅 设置机器学习功能

创建日志类别
编辑

创建机器学习作业以自动对日志消息进行分类。机器学习会观察消息的静态部分,对相似的消息进行聚类,将其分类到消息类别中,并检测类别中异常高的消息计数。

  1. 通过在全局搜索字段中查找 Logs / Categories 来打开 类别 页面。系统会提示您使用机器学习来创建日志速率分类。
  2. 选择机器学习分析的时间范围。默认情况下,机器学习作业分析不超过四个星期的日志消息,并无限期地继续。
  3. 添加包含您要检查的日志的索引。默认情况下,机器学习会分析 日志源 高级设置中设置的模式匹配的所有日志索引中的消息。要打开 高级设置,请在主菜单中查找 堆栈管理,或使用 全局搜索字段
  4. 单击 创建 ML 作业。作业将被创建并开始运行。机器学习机器人需要几分钟来收集必要的数据。作业处理数据后,您可以查看结果。
分析日志类别
编辑

类别 页面列出了所选索引中的所有日志类别。您可以按索引过滤类别。下面的屏幕截图显示了 elastic.agent 日志中的类别。

Log categories

类别行包含以下信息

  • 消息计数:显示给定类别中有多少条消息。
  • 趋势:指示消息的发生次数随时间的变化情况。
  • 类别名称:它是类别的名称,并且来自消息文本。
  • 数据集:类别所在的数据集的名称。
  • 最大异常分数:类别中的最高异常分数。

要查看特定类别下的日志消息,请单击行末尾的箭头。要进一步检查消息,可以在 页面上查看其相应的日志事件或在其上下文中显示。

Opened log category

有关分类的更多信息,请转到检测异常数据类别