使用分类进行类别预测

分类是一种机器学习过程，用于预测数据集中数据点的类别。举一个简单的例子，考虑如何区分以下图表中的形状，并将它们分类为“圆形”和“三角形”。

在现实中，分类问题更加复杂，例如，为了安全起见，对恶意和良性域进行分类以检测 DGA 活动，或根据客户通话数据预测客户流失。分类用于预测离散的、分类的值。

当您创建分类作业时，必须指定哪个字段包含您要预测的类别。此字段称为因变量。它最多可以包含 100 个类别。默认情况下，所有其他支持的字段都包含在分析中，称为特征变量。您可以选择包含或排除字段。有关字段选择的更多信息，请参阅解释数据框分析 API。

分类分析使用一种类似于极端梯度提升 (XGBoost) 的集成算法，该算法将多个弱模型组合成一个复合模型。它使用决策树来学习预测数据点属于某个类别的概率。XGBoost 训练一系列决策树，每个决策树都从目前为止的森林的错误中学习。在每次迭代中，添加到森林中的树都会提高组合决策森林的决策质量。分类算法优化称为交叉熵损失的损失函数。

在需要预测离散的、分类的值的情况下，分类会很有用。如果您的用例需要预测此类值，那么分类可能是适合您的选择。

在您可以使用 Elastic Stack 机器学习功能之前，必须解决一些配置要求（例如安全权限）。请参阅设置和安全。

分类是一种监督机器学习方法，这意味着您需要提供一个标记的训练数据集。此数据集必须具有特征变量和因变量的值，这些值用于训练模型。训练过程使用此信息来学习类别和特征变量之间的关系。此标记的数据集在模型评估中也起着关键作用。

如果可能，请准备输入数据，使其具有较少的类别。具有许多类别的分类分析比二元分类作业需要更长的运行时间。类别数量和运行时之间的关系大致是线性的。

您可能还需要转换您的数据以创建一个可以用作分类源的数据框。

要了解有关如何准备数据的更多信息，请参阅监督学习概述的相关部分。

数据框分析作业包含执行分析任务所需的配置信息和元数据。您可以通过 Kibana 或使用创建数据框分析作业 API来创建数据框分析作业。

选择分类作为分析类型，然后选择您要预测的字段（因变量）。您还可以包含和排除字段。

为了提高性能，请考虑使用较小的 training_percent 值来更快地训练模型。这是一个迭代取得进展的好策略：使用较小的训练百分比运行分析，然后评估性能。根据结果，您可以决定是否有必要增加 training_percent 值。

您可以通过 Kibana 或使用启动数据框分析作业 API 来启动作业。分类作业具有以下阶段

在最后一个阶段完成后，作业停止，结果可以进行评估。

使用数据框分析功能从数据集中获取见解是一个迭代过程。在定义要解决的问题并选择可以帮助您解决问题的分析类型后，您需要生成高质量的数据集并创建适当的数据框分析作业。在获得满足您的用例的结果之前，您可能需要尝试不同的配置、参数和转换数据的方法。此过程的一个有价值的伴侣是评估数据框分析 API，该 API 使您能够评估数据框分析性能。它可以帮助您了解错误分布，并识别数据框分析模型表现良好或不太可信的点。

要使用此 API 评估分析，您需要使用一个字段来注释包含分析结果的索引，该字段使用真实值标记每个文档。评估数据框分析 API 根据此手动提供的真实值评估数据框分析的性能。

您可以使用评估数据框分析 API的 classification 评估类型或通过在 Kibana 中查看作业结果来衡量模型在训练数据集上的表现。分类评估提供以下指标来评估模型性能

以下指标可帮助您解释分析结果

多类混淆矩阵提供了分类分析性能的摘要。它包含分析将数据点与其真实类别正确分类的次数，以及错误分类它们的次数。

这是一个二进制问题的混淆矩阵示例

这是一个二乘二的矩阵，因为只有两个类别（true 和 false）。它显示了被正确识别为每个类别成员的数据点的比例以及被错误识别的比例。

随着类别数量的增加，混淆矩阵变得更加复杂

此矩阵的左侧包含实际标签，而顶部包含预测标签。每个类别的正确和不正确预测的比例都会被分解。这使您能够检查分类分析在进行预测时如何混淆不同的类别。

接收者操作特征 (ROC) 曲线是一个图，表示分类过程在不同预测概率阈值下的性能。它比较特定类别的真阳性率与所有其他类别组合的率（“一对多”策略），在不同的阈值级别创建曲线。

例如，有三个类别：A、B 和 C，并且计算 A 的 AUC ROC。在这种情况下，正确分类的 A 的数量（真阳性）与被错误分类为 A 的 B 和 C 的数量（假阳性）进行比较。

从该图中，您可以计算曲线下面积 (AUC) 值，该值是介于 0 和 1 之间的数字。AUC 越高，模型在这种情况下将 A 预测为 A 的能力就越好。

特征重要性提供了有关分析结果的更多信息，并有助于以更微妙的方式解释结果。如果您想了解有关特征重要性的更多信息，请参阅特征重要性。

class_probability 是一个介于 0 和 1 之间的值，它表示给定的数据点属于某个类别的可能性。数字越高，数据点属于命名类别的可能性就越高。此信息存储在目标索引中每个文档的 top_classes 数组中。

class_score 是 class_probability 的函数，其值大于或等于零。它会考虑您的目标（在 class_assignment_objective 作业配置选项中定义）：准确率或召回率。

如果您的目标是最大化准确率，则对分数进行加权以最大化训练数据集中正确预测的比例。

默认情况下，分类分析作业接受整体准确率的轻微降低，以换取对错误预测的类别的更高敏感度。也就是说，他们的目标是最大化最小召回率。例如，在多类混淆矩阵的上下文中，感兴趣的预测在每一行中

对于每个类别，召回率的计算方法是将正确预测的数量除以该行中所有其他预测标签的总和。这个值在混淆矩阵的每个单元格中以百分比表示。然后，对类别分数进行加权，以支持那些在训练数据中产生最高召回率值的预测。当您拥有高度不平衡的数据时，此目标通常比准确率表现更好。

要了解有关选择适合您目标的类别分配目标的更多信息，请参阅此Jupyter notebook。

您创建的模型作为 Elasticsearch 文档存储在内部索引中。换句话说，您训练的模型的特征已保存并准备好部署和用作函数。

模型已部署，可以通过推理管道使用。

推理使您能够以连续的方式对传入的数据使用训练的机器学习模型。

例如，假设您有一个在线服务，并且您想预测客户是否可能流失。您有一个包含历史数据的索引——关于客户多年来在您业务中的行为信息——以及一个基于此数据训练的分类模型。新信息会进入连续转换的目标索引中。通过推理，您可以使用与训练模型相同的输入字段对新数据执行分类分析，并获得预测结果。

推理可以用作在摄取管道中指定的处理器。它使用训练的模型对管道中正在摄取的数据进行推理。该模型在摄取节点上使用。推理通过使用模型预处理数据并提供预测。处理完成后，管道继续执行（如果管道中还有其他处理器），最后将新数据和结果一起索引到目标索引中。

查看推理处理器和机器学习数据框分析 API 文档以了解更多信息。

推理也可以用作管道聚合。您可以在聚合中引用训练的模型，以推断父存储桶聚合的结果字段。推理聚合使用模型对结果进行预测。此聚合使您能够在搜索时运行分类或回归分析。如果您想对一小部分数据执行分析，此聚合使您无需在摄取管道中设置处理器即可生成预测。

查看推理存储桶聚合和机器学习数据框分析 API 文档以了解更多信息。

让我们尝试使用示例航班数据来预测航班是否会延误。该数据集包含天气条件、承运人、飞行距离、出发地、目的地以及航班是否延误等信息。分类模型学习数据中字段之间的关系，以预测因变量的值，在本例中为布尔值 FlightDelay 字段。

示例航班数据集中的每个文档都包含单个航班的详细信息，因此数据已准备好进行分析；它已经是一个二维的基于实体的数据结构。通常，您通常需要将数据转换为以实体为中心的索引，然后才能对其进行分析。

为了进行分析，文档必须至少包含一个具有支持的数据类型（numeric、boolean、text、keyword 或 ip）的字段，并且不能包含多个项的数组。如果您的源数据由一些包含因变量的文档和一些不包含因变量的文档组成，则模型会根据包含因变量的文档子集进行训练。

{
  "_index": "kibana_sample_data_flights",
  "_type": "_doc",
  "_id": "S-JS1W0BJ7wufFIaPAHe",
  "_version": 1,
  "_seq_no": 3356,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "FlightNum": "N32FE9T",
    "DestCountry": "JP",
    "OriginWeather": "Thunder & Lightning",
    "OriginCityName": "Adelaide",
    "AvgTicketPrice": 499.08518599798685,
    "DistanceMiles": 4802.864932998549,
    "FlightDelay": false,
    "DestWeather": "Sunny",
    "Dest": "Chubu Centrair International Airport",
    "FlightDelayType": "No Delay",
    "OriginCountry": "AU",
    "dayOfWeek": 3,
    "DistanceKilometers": 7729.461862731618,
    "timestamp": "2019-10-17T11:12:29",
    "DestLocation": {
      "lat": "34.85839844",
      "lon": "136.8049927"
    },
    "DestAirportID": "NGO",
    "Carrier": "ES-Air",
    "Cancelled": false,
    "FlightTimeMin": 454.6742272195069,
    "Origin": "Adelaide International Airport",
    "OriginLocation": {
      "lat": "-34.945",
      "lon": "138.531006"
    },
    "DestRegion": "SE-BD",
    "OriginAirportID": "ADL",
    "OriginRegion": "SE-BD",
    "DestCityName": "Tokoname",
    "FlightTimeHour": 7.577903786991782,
    "FlightDelayMin": 0
  }
}

要预测特定航班是否延误

现在，您有了一个新索引，其中包含源数据的副本，以及对因变量的预测。

当您在 Kibana 中查看分类结果时，它会以表格格式显示目标索引的内容。它还提供有关分析详细信息、模型评估指标、总特征重要性值和散点图矩阵的信息。

该表格显示了因变量（FlightDelay）的列，其中包含您尝试预测的真实值。它还显示了预测值（ml.FlightDelay_prediction）的列，这些值是由分类分析生成的。ml.is_training 列指示文档是否用于训练或测试数据集。您可以使用 训练 和 测试 筛选选项来细化结果表格的内容。您还可以启用直方图图表，以更好地了解值的分布情况。

如果您想了解模型对每个预测的确定程度，您可以检查其概率和得分（ml.prediction_probability 和 ml.prediction_score）。这些值越高，模型就越确信该数据点属于指定的类。如果您在 Kibana 的 Discover 应用程序中更仔细地检查目标索引，或者使用标准的 Elasticsearch 搜索命令，您可以看到分析预测了因变量所有可能类别的概率。top_classes 对象包含得分最高的预测类别。

GET model-flight-delays-classification/_search

          ...
          "FlightDelay" : false,
          ...
          "ml" : {
            "FlightDelay_prediction" : false,
            "top_classes" : [ 
              {
                "class_name" : false,
                "class_probability" : 0.9427605087816684,
                "class_score" : 0.3462468700158476
              },
              {
                "class_name" : true,
                "class_probability" : 0.057239491218331606,
                "class_score" : 0.057239491218331606
              }
            ],
            "prediction_probability" : 0.9427605087816684,
            "prediction_score" : 0.3462468700158476,
            ...

如果您选择计算特征重要性，则目标索引还包含 ml.feature_importance 对象。分析中包含的每个字段（称为数据点的特征）都会被分配一个特征重要性值。它既有大小，也有方向（正或负），表示每个字段如何影响特定的预测。只有最重要的值（在本例中为前 10 个）存储在索引中。但是，训练模型的元数据还包含所有训练数据中每个字段的特征重要性值的平均大小。您可以在 Kibana 中查看此汇总信息

您还可以在决策图的形式中查看每个单独预测的特征重要性值

在 Kibana 中，决策路径显示了每个特征对预测概率的相对影响。具有最显着正向或负向影响的特征会显示在决策图的顶部。因此，在此示例中，与飞行时间和距离相关的特征对该预测的概率值影响最大。此类信息可以帮助您了解模型如何得出预测结果。它还可以指示在训练和调整模型时，数据集的哪些方面最有影响力或最没有用处。

如果您不使用 Kibana，则可以通过使用 获取训练模型 API 查看汇总的特征重要性值，并通过搜索目标索引查看单个值。

GET _ml/trained_models/model-flight-delays-classification*?include=total_feature_importance

{
  "count" : 1,
  "trained_model_configs" : [
    {
      "model_id" : "model-flight-delays-classification-1601405047985",
      ...
      "metadata" : {
        ...
        "feature_importance_baseline" : { 
          "classes" : [
            {
              "class_name" : true,
              "baseline" : -1.5869016940485443
            },
            {
              "class_name" : false,
              "baseline" : 1.5869016940485443
            }
          ]
        },
        "total_feature_importance" : [
          {
            "feature_name" : "dayOfWeek",
            "classes" : [
              {
                "class_name" : false,
                "importance" : {
                  "mean_magnitude" : 0.037513174351966404, 
                  "min" : -0.20132653028125566, 
                  "max" : 0.20132653028125566 
                }
              },
              {
                "class_name" : true,
                "importance" : {
                  "mean_magnitude" : 0.037513174351966404,
                  "min" : -0.20132653028125566,
                  "max" : 0.20132653028125566
                }
              }
            ]
          },
          {
            "feature_name" : "OriginWeather",
            "classes" : [
              {
                "class_name" : false,
                "importance" : {
                  "mean_magnitude" : 0.05486662317369895,
                  "min" : -0.3337477336556598,
                  "max" : 0.3337477336556598
                }
              },
              {
                "class_name" : true,
                "importance" : {
                  "mean_magnitude" : 0.05486662317369895,
                  "min" : -0.3337477336556598,
                  "max" : 0.3337477336556598
                }
              }
            ]
          },
          ...

GET model-flight-delays-classification/_search

          ...
          "FlightDelay" : false,
          ...
          "ml" : {
            "FlightDelay_prediction" : false,
            ...
            "prediction_probability" : 0.9427605087816684,
            "prediction_score" : 0.3462468700158476,
            "feature_importance" : [
              {
                "feature_name" : "DistanceMiles",
                "classes" : [
                  {
                    "class_name" : false,
                    "importance" : -1.4766536146534828
                  },
                  {
                    "class_name" : true,
                    "importance" : 1.4766536146534828
                  }
                ]
              },
              {
                "feature_name" : "FlightTimeMin",
                "classes" : [
                  {
                    "class_name" : false,
                    "importance" : 1.0919201754729184
                  },
                  {
                    "class_name" : true,
                    "importance" : -1.0919201754729184
                  }
                ]
              },
              ...

最后，Kibana 在结果中提供了一个散点图矩阵。它具有与您在作业向导中看到的矩阵相同的功能。其目的是帮助您可视化和探索数值字段与因变量之间的关系。

虽然您可以查看各个结果并将预测值（ml.FlightDelay_prediction）与实际值（FlightDelay）进行比较，但通常需要评估整个分类模型的成功程度。

Kibana 提供了一个归一化混淆矩阵，其中包含分析正确分类数据点的实际类别的发生百分比，以及错误分类的发生百分比。

如果您想查看确切的发生次数，请选择矩阵中的一个象限。您还可以使用 训练 和 测试 筛选选项来细化矩阵的内容。因此，您可以查看模型在先前未见过的数据上的表现如何。您可以检查测试数据中有多少文档为 true，其中有多少文档被正确识别（真阳性），以及有多少文档被错误地识别为 false（假阴性）。

同样，如果您选择矩阵中的其他象限，它会显示测试数据中实际值为 false 类的文档数量。该矩阵显示了正确识别为 false 的文档数量（真阴性）以及错误预测为 true 的文档数量（假阳性）。当您对自己的数据执行分类分析时，可能需要多次迭代才能对结果感到满意并准备好部署模型。

Kibana 还提供了接收者操作特征 (ROC) 曲线作为模型评估的一部分。该图比较了每个类别的真阳性率（y 轴）与假阳性率（x 轴）；在此示例中为 true 和 false。从该图中，计算曲线下面积 (AUC) 值。它是一个介于 0 和 1 之间的数字。AUC 值越高，模型正确预测类别的能力就越好。

您还可以使用 数据帧分析评估 API 生成这些指标。有关解释评估指标的更多信息，请参阅 6. 评估和解释结果。

POST _ml/data_frame/_evaluate
{
 "index": "model-flight-delays-classification",
   "query": {
    "term": {
      "ml.is_training": {
        "value": true  
      }
    }
  },
 "evaluation": {
   "classification": {
     "actual_field": "FlightDelay",
     "predicted_field": "ml.FlightDelay_prediction",
     "metrics": {
       "multiclass_confusion_matrix" : {}
     }
   }
 }
}

POST _ml/data_frame/_evaluate
{
 "index": "model-flight-delays-classification",
   "query": {
    "term": {
      "ml.is_training": {
        "value": false  
      }
    }
  },
 "evaluation": {
   "classification": {
     "actual_field": "FlightDelay",
     "predicted_field": "ml.FlightDelay_prediction",
     "metrics": {
       "multiclass_confusion_matrix" : {}
     }
   }
 }
}

{
  "classification" : {
    "multiclass_confusion_matrix" : {
      "confusion_matrix" : [
        {
          "actual_class" : "false", 
          "actual_class_doc_count" : 8802, 
          "predicted_classes" : [
            {
              "predicted_class" : "false", 
              "count" : 7262 
            },
            {
              "predicted_class" : "true",
              "count" : 1540
            }
          ],
          "other_predicted_class_doc_count" : 0
        },
        {
          "actual_class" : "true",
          "actual_class_doc_count" : 2952,
          "predicted_classes" : [
            {
              "predicted_class" : "false",
              "count" : 794
            },
            {
              "predicted_class" : "true",
              "count" : 2158
            }
          ],
          "other_predicted_class_doc_count" : 0
        }
      ],
      "other_actual_class_count" : 0
    }
  }
}

如果您不想保留数据帧分析作业，可以在 Kibana 中或使用 删除数据帧分析作业 API 删除它。当您在 Kibana 中删除数据帧分析作业时，您可以选择同时删除目标索引和数据视图。