异常检测入门

准备好试用异常检测了吗？请按照本教程操作：

在本教程结束时，您应该对机器学习有一个很好的了解，并有望能够将其用于检测您自己数据中的异常。

需要更多上下文？请查看 Elasticsearch 简介，了解相关术语并了解 Elasticsearch 工作原理的基础知识。

这些数据集现在可以准备在 Kibana 的机器学习作业中进行分析。

要获得机器学习分析的最佳结果，必须了解您的数据。您必须知道其数据类型以及值的范围和分布。数据可视化器使您可以浏览数据中的字段。

现在您已经熟悉了 kibana_sample_data_logs 索引中的数据，您可以创建一些异常检测作业来分析它。

Kibana 样例数据集包含一些预先配置的异常检测作业，供您试用。您可以使用以下任一方法添加作业：

向导将创建三个作业和三个数据馈送。

如果您想查看作业和数据馈送的所有配置详细信息，可以在 机器学习 > 异常检测 > 作业 页面上进行查看。或者，您可以在 GitHub 上查看配置文件。但是，在本教程中，以下是每个作业目标的简要概述：

下一步是查看结果并了解这些作业生成的哪些类型的见解！

数据馈送启动且异常检测作业处理了一些数据后，您可以在 Kibana 中查看结果。

机器学习功能会分析数据输入流，对其行为建模，并根据每个作业中的检测器执行分析。当发生超出模型的事件时，该事件将被识别为异常。您可以立即看到所有三个作业都发现了异常，这些异常由每个作业泳道中的红色块表示。

Kibana 中有两个工具可用于检查异常检测作业的结果：异常资源管理器 和 单指标查看器。您可以通过单击左上角的图标在这些工具之间切换。您还可以编辑作业选择以检查不同的异常检测作业子集。

一个样本作业 (low_request_rate) 是一个单指标异常检测作业。它有一个使用 low_count 函数且作业属性有限的单个检测器。如果您想确定网站上的请求率何时大幅下降，则可以使用此类作业。

让我们首先在 单指标查看器 中查看此简单作业。

此视图包含一个图表，用于显示一段时间内的实际值和预期值。只有在作业启用了model_plot_config时才可用。它只能显示单个时间序列。

图表中的蓝线代表实际数据值。阴影蓝色区域代表预期值的范围。上界和下界之间的区域是模型最可能的值，使用 95% 的置信水平。也就是说，实际值落在这些界限内的概率为 95%。如果某个值超出此区域，则通常会被识别为异常值。

如果将时间选择器从数据的开头滑动到结尾，您可以看到模型在处理更多数据时是如何改进的。一开始，预期值的范围相当宽泛，模型并未捕捉到数据中的周期性。但它很快就学习并开始反映您数据中的模式。

将时间选择器滑动到包含红色异常数据点的时间序列部分。如果将鼠标悬停在该点上，您可以查看更多信息。

对于每个异常值，您可以在查看器的异常部分查看关键详细信息，例如时间、实际值和预期值（“典型”值）及其概率。例如

在操作列中，还有其他选项，例如原始数据，它会生成Discover中相关文档的查询。您可以使用自定义 URL在操作菜单中添加更多链接。

默认情况下，该表包含在所选时间线部分中严重性为“警告”或更高的所有异常值。例如，如果您只对严重异常值感兴趣，则可以更改此表的严重性阈值。

异常解释部分为您提供有关每个异常的更多见解，例如其类型和影响，以便更容易解释作业结果。

您可以选择通过在单指标查看器中拖动选择一段时间并添加描述来注释作业结果。注释是引用特定时间段内事件的备注。它们可以由用户创建，也可以由异常检测作业自动生成，以反映模型更改和值得注意的事件。

在识别异常后，下一步通常是尝试确定这些情况的上下文。例如，是否有其他因素导致了这个问题？异常是否仅限于特定的应用程序或服务器？您可以通过分层添加作业或创建多指标作业来开始对这些情况进行故障排除。

从概念上讲，您可以将多指标异常检测作业视为运行多个独立的单指标作业。但是，通过将它们捆绑在多指标作业中，您可以看到所有指标和作业中所有实体的总体分数和共享影响因素。因此，多指标作业比许多独立的单指标作业具有更好的可扩展性。当您拥有跨检测器共享的影响因素时，它们还可以提供更好的结果。

您还可以将异常检测作业配置为根据分类字段将单个时间序列拆分为多个时间序列。例如，response_code_rates作业具有一个检测器，它根据response.keyword拆分数据，然后使用count函数来确定事件数量何时异常。如果您想查看按响应代码划分的请求高低速率，则可以使用这样的作业。

让我们首先查看异常资源管理器中的response_code_rates作业

对于此特定作业，您可以选择为每个客户端 IP 或响应代码查看单独的泳道。例如

由于该作业使用response.keyword作为其分区字段，因此分析被分割，以便您对该字段的每个不同值都有完全不同的基线。通过查看每个实体的时间模式，您可能会发现一些在合并视图中可能被隐藏的内容。

在异常时间轴下方，有一个包含注释的部分。您可以使用注释部分右侧的选择器过滤事件类型。

在异常资源管理器的左侧，列出了同一时间段内所有检测到的异常的前五大影响因素。该列表包括最大异常分数（在本例中，是为每个影响因素、每个桶和所有检测器聚合的），以及每个影响因素的异常分数总和。您可以使用此列表来帮助您缩小贡献因素的范围，并关注最异常的实体。

单击泳道中的某个部分，以获取有关该时间段内异常的更多信息。例如，单击response.keyword值为404的泳道中的红色部分

您可以查看异常发生的确切时间。如果作业中有多个检测器或指标，您可以查看哪个检测器捕获了异常。您还可以通过单击操作菜单中的查看序列按钮，切换到在单指标查看器中查看此时间序列。

图表下方有一个表，提供更多信息，例如典型值和实际值以及导致异常的影响因素。例如

如果您的作业有多个检测器，则该表会聚合异常以显示每个检测器和实体的最高严重性异常，该实体是在发现于列中显示的字段值。要查看所有异常而无需任何聚合，请将间隔设置为显示全部。

在此示例数据中，404 响应代码的峰值受特定客户端的影响。这种情况可能表明客户端正在访问异常页面或扫描您的站点以查看他们是否可以访问异常 URL。这种异常行为值得进一步调查。

最终样本作业（url_scanning）是一个总体异常检测作业。正如我们在response_code_rates作业结果中看到的那样，有些客户端似乎正在访问异常高的 URL 数量。url_scanning样本作业提供了另一种调查此类问题的方法。它有一个检测器，它使用url.keyword上的high_distinct_count函数来检测该字段中异常高的不同值数量。然后，它分析这种行为在客户端总体（由clientip字段定义）上的差异。

如果您在异常资源管理器中检查url_scanning异常检测作业的结果，您会注意到其图表格式不同。例如

在这种情况下，每个客户端 IP 的指标相对于每个桶中的其他客户端 IP 进行分析，我们再次可以看到30.156.16.164客户端 IP 的行为异常。

如果您想尝试另一个总体异常检测作业示例，请添加示例电子商务订单数据集。其high_sum_total_sales作业确定哪些客户的购买量相对于每个时间段中的其他客户而言异常高。在此示例中，为两位客户发现了异常事件

除了检测数据中的异常行为外，您还可以使用机器学习功能来预测未来的行为。

在 Kibana 中创建预测

既然您已经了解了使用示例数据创建预测有多么容易，请考虑您可能想要预测自己数据中的哪种类型的事件。有关更多信息和想法，请参见预测未来行为。

通过完成本教程，您已经了解了如何在简单的示例数据集中检测异常行为。您在 Kibana 中创建了异常检测作业，它会在后台为您打开作业并创建和启动数据馈送。您在 Kibana 的单指标查看器和异常资源管理器中检查了机器学习分析的结果。您还通过创建预测来推断作业的未来行为。

如果您现在正在考虑异常检测对您自己的数据最有效的地方，则需要考虑以下三点

通常，最好从关键性能指标的单指标异常检测作业开始。检查这些简单的分析结果后，您将更好地了解影响因素可能是什么。您可以根据需要创建多指标作业并拆分数据或创建更复杂的分析函数。有关更复杂的配置选项的示例，请参见示例。

如果您想查找更多示例作业，请参见提供的配置。特别是，有一些针对Apache和Nginx的示例作业，它们与本教程中的示例非常相似。

如果您遇到问题，我们将竭诚为您提供帮助。如果您是拥有支持合同的现有 Elastic 客户，请在Elastic 支持门户中创建一个工单。或者在Elastic 论坛中发帖。