异常检测入门

准备好试用一下异常检测了吗？请按照本教程进行操作：

在本教程结束时，您应该对机器学习是什么有一个很好的了解，并且希望受到启发，在您自己的数据中使用它来检测异常。

需要更多背景信息？请查看 Elasticsearch 简介，了解术语并理解 Elasticsearch 的基本工作原理。

这些数据集现在可以在 Kibana 的机器学习作业中进行分析。

要从机器学习分析中获得最佳结果，您必须了解您的数据。您必须知道其数据类型以及值的范围和分布。“数据可视化工具”使您能够浏览数据中的字段

现在您已经熟悉了 kibana_sample_data_logs 索引中的数据，您可以创建一些异常检测作业来分析它。

Kibana 示例数据集包含一些预配置的异常检测作业供您试用。您可以使用以下任一方法添加作业

该向导将创建三个作业和三个数据源。

如果您想查看您的作业和数据源的所有配置详细信息，您可以在 机器学习 > 异常检测 > 作业 页面上查看。或者，您可以在 GitHub 中查看配置文件。但是，对于本教程的目的，这里是对每个作业目标的快速概述

下一步是查看结果，并了解这些作业生成了哪些类型的见解！

在数据源启动并且异常检测作业处理了一些数据后，您可以在 Kibana 中查看结果。

机器学习功能分析输入数据流，对其行为进行建模，并根据每个作业中的检测器执行分析。当事件发生在模型之外时，该事件会被识别为异常。您可以立即看到所有三个作业都发现了异常，这在每个作业的泳道中用红色块表示。

在 Kibana 中，有两个工具可用于检查异常检测作业的结果：异常资源管理器 和 单指标查看器。您可以通过单击左上角的图标在这些工具之间切换。您还可以编辑作业选择以检查不同的异常检测作业子集。

其中一个示例作业 (low_request_rate) 是一个单指标异常检测作业。它只有一个使用 low_count 函数和有限作业属性的检测器。如果您想确定何时您网站上的请求速率显着下降，您可以使用这样的作业。

让我们首先在 单指标查看器 中查看这个简单的作业

此视图包含一个图表，显示了实际值和预期值随时间的变化。只有在作业启用了 model_plot_config 时才可用。它只能显示单个时间序列。

图表中的蓝色线代表实际数据值。阴影蓝色区域代表预期值的边界。上下边界之间的区域是模型的最有可能的值，置信水平为 95%。也就是说，实际值有 95% 的可能性落在这些边界内。如果某个值超出此区域，则通常会被识别为异常。

如果您将时间选择器从数据的开始滑动到结束，您可以看到模型随着处理更多数据而如何改进。在开始时，预期值的范围相当广泛，模型没有捕获数据中的周期性。但它会很快学习并开始反映您数据中的模式。

将时间选择器滑动到包含红色异常数据点的时间序列部分。如果将鼠标悬停在该点上，您可以看到更多信息。

对于每个异常，您可以在查看器的 异常 部分看到关键详细信息，例如时间、实际值和预期值（“典型”值）及其概率。例如

在 操作 列中，还有其他选项，例如 原始数据，它会在 Discover 中生成相关文档的查询。您可以选择使用 自定义 URL 在操作菜单中添加更多链接。

默认情况下，该表包含时间轴所选部分中严重性为“警告”或更高的所有异常。例如，如果您只对严重异常感兴趣，则可以更改此表的严重性阈值。

异常解释 部分为您提供有关每个异常的更多见解，例如其类型和影响，以便更容易解释作业结果。

您可以通过在 单指标查看器 中拖动选择一段时间并添加描述来选择性地注释您的作业结果。注释是指特定时间段内事件的注释。它们可以由用户创建，也可以由异常检测作业自动生成，以反映模型更改和值得注意的事件。

在识别出异常后，通常下一步是尝试确定这些情况的上下文。例如，是否有其他因素导致了问题？异常是否仅限于特定应用程序或服务器？您可以通过叠加其他作业或创建多指标作业来开始排除这些情况。

从概念上讲，您可以将多指标异常检测作业视为运行多个独立的单指标作业。但是，通过将它们捆绑到多指标作业中，您可以看到作业中所有指标和所有实体的总体得分和共享影响因素。因此，多指标作业比拥有许多独立的单指标作业更具可扩展性。当您有跨检测器共享的影响因素时，它们也能提供更好的结果。

您还可以配置您的异常检测作业，以基于分类字段将单个时间序列拆分为多个时间序列。例如，response_code_rates 作业有一个单独的检测器，该检测器基于 response.keyword 拆分数据，然后使用 count 函数来确定事件数量何时异常。如果您想查看按响应代码分区的请求率高低，则可以使用这样的作业。

让我们从查看 异常资源管理器 中的 response_code_rates 作业开始

对于此特定作业，您可以选择查看每个客户端 IP 或响应代码的单独泳道。例如

由于作业使用 response.keyword 作为其分区字段，因此分析被分段，以便您可以为该字段的每个不同值提供完全不同的基线。通过按实体查看时间模式，您可能会发现原本隐藏在汇总视图中的内容。

在异常时间轴下方，有一个包含注释的部分。您可以使用 注释 部分右侧的选择器来筛选事件的类型。

在 异常资源管理器 的左侧，有一个列表，其中列出了同一时间段内所有检测到的异常的顶级影响因素。该列表包括最大异常分数，在本例中，这些分数针对每个检测器的每个存储桶、每个影响因素进行聚合。还有每个影响因素的异常分数的总和。您可以使用此列表来帮助您缩小影响因素的范围，并专注于最异常的实体。

单击泳道中的一个部分以获取有关该时间段内异常的更多信息。例如，单击 response.keyword 值为 404 的泳道中的红色部分

您可以看到异常发生的准确时间。如果作业中有多个检测器或指标，您可以看到哪个检测器捕获了异常。您还可以通过单击 操作 菜单中的 查看系列 按钮，切换到在 单指标查看器 中查看此时间序列。

在图表下方，有一个表格提供了更多信息，例如典型值和实际值以及导致异常的影响因素。例如

如果您的作业有多个检测器，则该表会聚合异常以显示每个检测器和实体的最高严重性异常，该异常是在 发现于 列中显示的字段值。要查看所有异常而不进行任何聚合，请将 间隔 设置为 显示所有。

在此示例数据中，404 响应代码的峰值受特定客户端的影响。这种情况可能表明客户端正在访问不寻常的页面或扫描您的网站以查看是否可以访问不寻常的 URL。这种异常行为值得进一步调查。

最后一个示例作业 (url_scanning) 是一个群体异常检测作业。正如我们在 response_code_rates 作业结果中看到的那样，某些客户端似乎正在访问异常大量的 URL。 url_scanning 示例作业提供了另一种调查此类问题的方法。它有一个单独的检测器，该检测器在 url.keyword 上使用 high_distinct_count 函数来检测该字段中异常数量的不同值。然后，它分析该行为是否与 clientip 字段定义的客户端群体不同。

如果您在 异常资源管理器 中检查 url_scanning 异常检测作业的结果，您会注意到它的图表格式不同。例如

在这种情况下，每个客户端 IP 的指标是相对于每个存储桶中的其他客户端 IP 进行分析的，我们可以再次看到 30.156.16.164 客户端 IP 的行为异常。

如果您想使用另一个群体异常检测作业示例，请添加示例电子商务订单数据集。它的 high_sum_total_sales 作业确定哪些客户在每个时间段内相对于其他客户购买了异常数量的商品。在此示例中，为两个客户发现了异常事件

除了检测数据中的异常行为外，您还可以使用机器学习功能来预测未来的行为。

要在 Kibana 中创建预测

现在您已经了解了使用示例数据创建预测有多么容易，请考虑您可能希望在自己的数据中预测哪种类型的事件。有关更多信息和想法，请参阅预测未来行为。

通过完成本教程，您学习了如何在一组简单的示例数据中检测异常行为。您在 Kibana 中创建了异常检测作业，该作业会在后台为您打开作业并创建和启动数据馈送。您在 Kibana 中的单指标查看器和异常浏览器中检查了机器学习分析的结果。您还通过创建预测来推断作业的未来行为。

如果您现在正在考虑异常检测对您自己的数据影响最大的地方，则有三件事需要考虑：

一般来说，最好从针对关键绩效指标的单指标异常检测作业开始。在检查这些简单的分析结果之后，您将更好地了解可能的影响因素。您可以根据需要创建多指标作业并拆分数据或创建更复杂的分析功能。有关更复杂配置选项的示例，请参阅示例。

如果您想查找更多示例作业，请参阅提供的配置。特别是，有Apache 和 Nginx 的示例作业，它们与本教程中的示例非常相似。

如果您遇到问题，我们随时提供帮助。如果您是具有支持合同的现有 Elastic 客户，请在 Elastic 支持门户中创建工单。或在 Elastic 论坛中发帖。