异常检测作业类型
编辑异常检测作业类型
编辑异常检测作业有许多可能的配置选项,使您能够微调作业并尽可能满足您的用例。此页面简要概述了不同类型的异常检测作业及其功能。Kibana 中可用的作业类型有
- 单指标作业,
- 多指标作业,
- 总体作业,
- 高级作业,
- 分类作业,
- 稀有作业,
- 地理位置作业。
单指标作业
编辑每个异常检测作业至少有一个检测器。检测器定义了发生的分析类型(例如,使用 max
、average
或 high
函数)以及要分析的数据中的字段。单指标作业只有一个检测器。这些作业最适合检测时间序列数据的一个方面的异常情况。例如,您可以使用 low_count
函数来监控日志数据中的请求速率,以查找可能表示错误的异常低请求速率。请参阅函数参考,了解有关可用函数的更多信息。
多指标作业
编辑多指标作业可以配置多个检测器,并可以选择按字段拆分分析。从概念上讲,多指标作业可以被视为多个独立的单指标作业。将作业绑定到多指标作业的优点是具有整体异常得分(而不是每个作业的独立异常得分)以及适用于作业中所有指标的影响因素。当影响因素在检测器之间共享时,多指标作业可提供更好的结果。
按字段拆分分析使您可以独立地对该字段的每个值进行建模。例如,您可以按 host
字段拆分对日志数据集的分析,这将为数据集中的每个主机(host
字段的每个值)生成独立的基线。如果您的 count
函数检测 error_code
字段中的异常,并且您的数据按 host
字段拆分,则 error_code
字段中不寻常的事件数量将在每个主机的上下文中单独报告。在这种情况下,一个主机中观察到的异常不会影响另一个主机的基线。
对于复杂的用例,建议使用多指标作业,在这些用例中,您希望检测数据多个方面的异常行为,或在字段的不同值的上下文中分析数据。
总体作业
编辑对于总体作业,分析的数据将按字段的不同值拆分。此字段定义了所谓的总体。在所有拆分上下文中分析拆分,以查找总体中的异常值。换句话说,总体分析是将单个实体与随着时间的推移观察到的总体中所有成员的集体模型进行比较。
例如,如果要检测与其他 IP 地址的请求数量相比具有异常请求速率的 IP 地址,则可以使用总体作业。该作业具有 count
函数来检测异常的请求数量,并且分析按 client_ip
字段拆分。在这种情况下,如果某个 IP 地址的请求速率与总体中所有 IP 地址的请求速率相比异常高或低,则事件是异常的。总体作业建立 IP 地址集体请求的典型数量模型,并将每个 IP 地址的行为与该集体模型进行比较,以检测异常值。
高级作业
编辑高级作业为您提供 创建异常检测作业 API 中所有可能的灵活性。在极端情况下,您可以切换到直接编辑将发送到此端点的 JSON。此页面中描述的所有其他类型的作业都可以创建为高级作业,但更专业的向导可以更轻松地为常见情况创建作业。如果您熟悉机器学习异常检测提供的所有功能,并且想要执行更专业的向导不允许您执行的操作,则可以创建高级作业。
分类作业
编辑分类作业将相似的文本值聚在一起,将其分类为类别,并检测类别内的异常。分类最适合于机器编写的文本,例如通常包含重复文本字符串的日志消息;由于其高度的可变性,它在人工生成的文本上效果不佳。
该模型会随着时间的推移学习类别的正常数量和模式,因此该作业可以使用 count
函数检测异常行为,例如类别中异常数量的事件,或使用 rare
函数检测很少发生的事件。
稀有作业
编辑稀有异常检测作业检测时间序列数据中的稀有事件。稀有作业使用 rare
或 freq_rare
函数,并在总体中检测此类事件。稀有作业会查找与模型随时间观察到的相比,在简单时间序列数据中很少发生的事件。总体中的稀有作业会查找与总体其他成员相比,随着时间推移具有稀有值的总体成员。与成员相比,总体中频繁稀有作业会检测到某个总体成员频繁发生的稀有事件。作为最后一种稀有作业类型的示例,您可以创建一个对 URI 路径和客户端 IP 交互进行建模的作业,并检测到总体中很少有客户端 IP 访问的稀有 URI 路径(这就是它稀有的原因)。与很少与 URI 路径交互的总体其余部分相比,与此 URI 路径有许多交互的客户端 IP 是异常的。
地理位置作业
编辑地理位置异常检测作业检测数据地理位置中异常事件的发生。您的数据集必须包含地理数据,才能在检测器中使用 lat_long
函数来检测异常的地理数据。例如,地理位置作业可以识别与其余交易位置相比,从异常位置发起的交易。