检查日志异常编辑

当机器学习的异常检测功能启用后,您可以使用日志应用程序中的 异常 页面来检测和检查日志异常以及发生日志异常的日志分区。这意味着您可以轻松地看到异常行为,而无需大量人工干预——不再需要手动采样日志数据、计算速率以及确定速率是否符合预期。

异常 会自动突出显示日志速率超出预期范围的时期,因此可能是异常的。例如

  • 日志速率显著下降可能表明基础设施的一部分停止响应,因此我们处理的请求更少。
  • 日志速率激增可能表明发生了 DDoS 攻击。这可能导致对来自传入请求的 IP 地址进行调查。

您也可以直接在 机器学习应用程序 中查看日志异常。

此功能利用机器学习异常检测作业。要设置作业,您必须对 机器学习 具有 all Kibana 功能权限。对 Kibana 空间内的机器学习功能具有完全或只读访问权限的用户可以查看该空间中可见的所有异常检测作业的结果,即使他们没有访问这些作业的源索引的权限。您必须仔细考虑谁被授予机器学习功能的访问权限;异常检测作业结果可能会将包含来自源索引的敏感信息的字段值传播到结果中。有关更多详细信息,请参阅 设置机器学习功能

启用日志速率分析和异常检测编辑

创建一个机器学习作业来自动检测异常的日志条目速率。

  1. 选择 异常,您将被提示创建一个机器学习作业,该作业将执行日志速率分析。
  2. 为机器学习分析选择一个时间范围。
  3. 添加包含要分析的日志的索引。
  4. 单击 创建 ML 作业
  5. 您现在可以开始探索您的日志分区了。
异常图表编辑

异常图表显示了日志条目速率的整体彩色编码可视化,根据 Elastic Common Schema (ECS) event.dataset 字段的值进行分区。此图表可帮助您快速发现每个分区的日志速率的增加或减少。

如果您有很多日志分区,请使用以下方法过滤您的数据

  • 将鼠标悬停在时间范围内以查看每个分区的日志速率。
  • 单击或将鼠标悬停在分区名称上以显示、隐藏或突出显示分区值。
Anomalies chart

图表显示了检测到异常的时间范围。典型速率值以灰色显示,而异常区域则以彩色编码叠加在顶部。

当时间范围被标记为异常时,机器学习算法检测到异常的日志速率活动。这可能是因为

  • 日志速率明显高于平时。
  • 日志速率明显低于平时。
  • 检测到其他异常行为。例如,日志速率在范围内,但没有在预期的时间内波动。

在一段时间内检测到的异常级别以颜色编码,从红色、橙色、黄色到蓝色。红色表示严重异常级别,而蓝色表示警告级别。

为了帮助您进一步深入了解潜在的异常,您可以查看每个分区的异常图表。异常评分范围从 0(无异常)到 100(严重)。

要更详细地分析异常,请单击 在机器学习中查看异常,这将打开 机器学习中的异常资源管理器