检查日志异常

编辑

当启用机器学习的异常检测功能后,您可以使用日志异常页面来检测和检查日志异常以及发生日志异常的日志分区。这意味着您可以轻松地看到异常行为,而无需过多的人工干预——不再需要手动采样日志数据、计算速率以及确定速率是否符合预期。

异常会自动突出显示日志速率超出预期范围的时间段,这些时间段可能存在异常。例如:

  • 日志速率的显著下降可能表明某个基础设施停止响应,因此我们正在处理的请求减少。
  • 日志速率的飙升可能表示发生了 DDoS 攻击。这可能导致对传入请求的 IP 地址进行调查。

您还可以在机器学习应用程序中直接查看日志异常。

此功能利用了机器学习异常检测作业。要设置作业,您必须拥有机器学习all Kibana 功能权限。在 Kibana 空间中拥有机器学习功能的完全或只读访问权限的用户可以查看该空间中可见的所有异常检测作业的结果,即使他们无权访问这些作业的源索引。您必须仔细考虑授予谁访问机器学习功能的权限;异常检测作业结果可能会将包含来自源索引的敏感信息的字段值传播到结果中。有关更多详细信息,请参阅设置机器学习功能

启用日志速率分析和异常检测
编辑

创建一个机器学习作业,以自动检测异常的日志条目速率。

  1. 选择异常,系统将提示您创建一个机器学习作业,该作业将执行日志速率分析。
  2. 选择用于机器学习分析的时间范围。
  3. 添加包含您要检查的日志的索引。默认情况下,机器学习会分析所有与日志源高级设置中设置的模式匹配的日志索引中的消息。要打开高级设置,请在主菜单中找到堆栈管理或使用全局搜索字段
  4. 单击创建 ML 作业
  5. 现在您可以开始探索您的日志分区了。
异常图表
编辑

“异常”图表显示日志条目速率的整体彩色可视化效果,该速率根据 Elastic Common Schema (ECS) event.dataset字段的值进行分区。此图表可帮助您快速发现每个分区的日志速率的增加或减少。

如果您有大量日志分区,请使用以下方法来筛选您的数据:

  • 将鼠标悬停在时间范围内,以查看每个分区的日志速率。
  • 单击或悬停在分区名称上以显示、隐藏或突出显示分区值。
Anomalies chart

该图表显示检测到异常的时间范围。典型的速率值以灰色显示,而异常区域以彩色编码并叠加在顶部。

当一个时间范围被标记为异常时,机器学习算法已检测到异常的日志速率活动。这可能是因为:

  • 日志速率明显高于平常。
  • 日志速率明显低于平常。
  • 已检测到其他异常行为。例如,日志速率在范围内,但没有像预期那样波动。

在一个时间段内检测到的异常级别以颜色编码,从红色、橙色、黄色到蓝色。红色表示关键异常级别,而蓝色是警告级别。

为了帮助您进一步深入了解潜在的异常情况,您可以查看每个分区的异常图表。异常分数范围从 0(无异常)到 100(关键)。

要更详细地分析异常,请单击在机器学习中查看异常,这将打开机器学习中的异常浏览器