异常检测作业类型

编辑

异常检测作业有很多可能的配置选项,使您可以微调作业并尽可能多地涵盖您的用例。此页面简要概述了不同类型的异常检测作业及其功能。Kibana 中可用的作业类型包括:

  • 单指标作业,
  • 多指标作业,
  • 总体作业,
  • 高级作业,
  • 分类作业,
  • 罕见事件作业,
  • 地理位置作业。

单指标作业

编辑

每个异常检测作业至少有一个检测器。检测器定义要执行的分析类型(例如,使用maxaveragehigh函数)以及要分析的数据中的字段。单指标作业只有一个检测器。这些作业最适合检测时间序列数据的一个方面中的异常。例如,您可以使用low_count函数监控日志数据中的请求速率,以查找可能表示错误的异常低的请求速率。请参阅函数参考,了解更多关于可用函数的信息。

多指标作业

编辑

多指标作业可以配置多个检测器,并可以选择按字段拆分分析。从概念上讲,多指标作业可以被认为是多个独立的单指标作业。将作业绑定到多指标作业的优势在于具有整体异常评分(而不是每个作业的独立异常评分)和适用于作业中所有指标的影响因素。当影响因素跨检测器共享时,多指标作业会提供更好的结果。

按字段拆分分析使您可以独立地对该字段的每个值进行建模。例如,您可以按host字段拆分日志数据集的分析,这将为数据集中的每个主机(host字段的每个值)生成独立的基线。如果您有一个count函数来检测error_code字段中的异常,并且您的数据按host字段拆分,则error_code字段中事件数量异常将在每个主机的上下文中独立报告。在这种情况下,在一个主机中观察到的异常不会影响另一个主机的基线。

对于需要检测数据多个方面中的异常行为或在字段的不同值的上下文中分析数据的复杂用例,建议使用多指标作业。

总体作业

编辑

对于总体作业,分析数据将按字段的不同值拆分。此字段定义所谓的总体。在所有拆分的上下文中分析拆分,以查找总体中的异常值。换句话说,总体分析是将单个实体与其在一段时间内观察到的总体中所有成员的集体模型进行比较。

例如,如果您想检测与来自其他 IP 地址的请求数量相比,请求速率异常的 IP 地址,则可以使用总体作业。该作业具有count函数来检测异常的请求数量,并且分析按client_ip字段拆分。在这种情况下,如果某个 IP 地址的请求速率与总体中所有 IP 地址的请求速率相比异常高或低,则该事件是异常的。总体作业构建了 IP 地址典型请求数量的模型,并将每个 IP 地址的行为与该集体模型进行比较以检测异常值。

高级作业

编辑

高级作业为您提供了创建异常检测作业 API中所有可能的灵活性。极端情况下,您可以直接切换到编辑将发送到此端点的 JSON。本页面中描述的所有其他类型的作业都可以作为高级作业创建,但更专业的向导可以更轻松地为常见情况创建作业。如果您熟悉机器学习异常检测提供的所有功能,并且想要执行更专业的向导不允许您执行的操作,则可以创建高级作业。

分类作业

编辑

分类作业将相似的文本值聚类在一起,将它们分类为类别,并检测类别内的异常。分类最适合于机器生成的文本(如通常包含重复文本字符串的日志消息);由于其高度可变性,它不适用于人工生成的文本。

该模型会随着时间的推移学习类别的正常数量和模式,因此作业可以使用count函数检测异常行为,例如类别中事件数量异常,或使用rare函数检测很少出现的邮件。

罕见事件作业

编辑

罕见事件异常检测作业检测时间序列数据中的罕见事件。罕见事件作业使用rarefreq_rare函数,并检测总体中的此类事件。罕见事件作业查找与模型随时间观察到的情况相比,在简单时间序列数据中很少发生的事件。总体中的罕见事件作业查找其值与总体中其他成员相比随时间推移很少发生的总体成员。作为这种最后一种罕见事件作业的示例,您可以创建一个对 URI 路径和客户端 IP 交互进行建模的作业,并检测由总体中很少的客户端 IP 访问的罕见 URI 路径(这就是它罕见的原因)。与很少与 URI 路径交互的其余总体相比,与该 URI 路径有许多交互的客户端 IP 是异常的。

地理位置作业

编辑

地理位置异常检测作业检测数据地理位置中的异常情况。您的数据集必须包含地理数据才能能够在检测器中使用lat_long函数来检测异常地理数据。例如,地理位置作业可以识别与其余交易地点相比,从异常地点发起的交易。