教程：自然语言处理 (NLP)

本指南侧重于一个具体的任务：将经过机器学习训练的模型加载到 Elasticsearch 中，并设置为丰富您的文档。

Elasticsearch 支持多种不同的方式来使用机器学习模型。在本指南中，我们将使用经过训练的模型，通过在 Kibana 的 内容 UI 中配置的摄取管道，在摄取时丰富文档。

在本指南中，我们将通过以下步骤完成上述操作

按照说明加载文本分类模型，并将其设置为丰富一些照片评论数据。一旦您熟悉了所涉及的步骤，请将本指南用作使用其他经过机器学习训练的模型的工作蓝图。

目录:

您的部署将需要一个机器学习实例来上传和部署经过训练的模型。

如果您的团队已经有一个 Elastic Cloud 部署，请确保它至少有一个机器学习实例。如果没有，请编辑您的部署以增加容量。对于本教程，我们需要单个机器学习实例上至少 2GB 的 RAM。

如果您的团队没有 Elastic Cloud 部署，请首先注册一个 免费的 Elastic Cloud 试用版。创建帐户后，您将拥有一个有效的订阅，并且系统会提示您创建第一个部署。

按照步骤创建一个新的部署。请确保在创建部署之前，在高级设置下为机器学习实例增加容量。为了简化扩展，请打开自动缩放此部署功能。如果您使用自动缩放，则应增加机器学习实例的最小 RAM。对于本教程，我们需要至少 2GB 的 RAM。有关更多详细信息，请参阅 Elastic Cloud 文档中的创建部署。

使用机器学习丰富文档是在 Enterprise Search 8.5.0 中引入的，因此请务必使用 8.5.0 或更高版本。

Elastic 的 Eland 工具可以通过 Docker 轻松地将经过训练的模型上传到您的部署中。

Eland 是一个专门的 Elasticsearch 客户端，用于浏览和操作数据，我们可以使用它将经过训练的模型上传到 Elasticsearch 中。

要使用 Docker 克隆和构建 Eland，请运行以下命令

git clone [email protected]:elastic/eland.git
cd eland
docker build -t elastic/eland .

现在您已经有了一个部署和一种上传模型的方法，您将需要选择一个适合您数据的经过训练的模型。Hugging Face 有一个大型的公开可用的经过训练的模型存储库。您选择的模型将取决于您的数据以及您想要用它做什么。

就本指南而言，假设我们有一个照片评论数据集。为了在我们平台上营造积极的氛围，我们希望每张照片的前几条评论都是积极的评论。对于此任务，distilbert-base-uncased-finetuned-sst-2-english 模型是一个很好的选择。

要将此模型上传到您的部署中，您需要一些数据

我们现在可以通过向 Eland 提供这些选项，将我们选择的模型上传到 Elasticsearch。

docker run -it --rm --network host \
    elastic/eland \
    eland_import_hub_model \
      --url https://ml-test.es.us-west1.gcp.cloud.es.io:443 \
      -u elastic -p <PASSWORD> \
      --hub-model-id distilbert-base-uncased-finetuned-sst-2-english \
      --task-type text_classification \
      --start

此脚本应该需要大约 2-3 分钟才能运行。一旦您的模型成功部署到您的 Elastic 部署中，请导航到 Kibana 的训练模型页面以验证它是否已准备就绪。您可以在机器学习 > 分析菜单下，然后点击训练模型 > 模型管理找到此页面。如果您在列表中没有看到您的模型，您可能需要单击同步您的作业和训练模型。您的模型现在可以使用了。

我们现在可以使用 Kibana 的内容 UI 来使用推理数据丰富我们的文档。在我们将照片评论摄取到 Elasticsearch 中之前，我们将首先创建一个 ML 推理管道。该管道将使用推理数据来丰富传入的照片评论，表明评论是否为积极的。

假设我们的照片评论在作为文档上传到 Elasticsearch 中时看起来像这样

{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  ...
}

我们希望通过一个推理处理器来运行我们的文档，该处理器使用我们上传的经过训练的模型来确定评论是否为积极的。为此，我们首先需要设置一个 Elasticsearch 索引。

要配置 ML 推理管道，我们需要索引具有现有的字段映射，以便我们可以选择要分析的字段。这可以通过 Kibana Dev Tools 中的索引映射 API完成，也可以简单地通过 cURL 命令完成

PUT search-photo-comments/_mapping
{
  "properties": {
    "photo_id": { "type": "keyword" },
    "body": { "type": "text" }
  }
}

现在是创建推理管道的时候了。

接下来，我们将添加一个推理管道。

您还可以通过模拟器运行示例文档，并在创建管道之前查看管道。

此时，一切都已准备就绪，可以在索引时丰富文档。

从 Kibana Dev Console，或者简单地使用 cURL 命令，我们可以索引一个文档。我们将使用 _run_ml_inference 标志来告诉 search-photo-comments 管道运行我们创建的特定于索引的 ML 推理管道。此字段不会在文档中编入索引。

POST search-photo-comments/_doc/my-new-doc?pipeline=search-photo-comments
{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  "_run_ml_inference": true
}

索引文档后，使用 API 检索它并查看丰富的数据。

GET search-photo-comments/_doc/my-new-doc

{
  "_index": "search-photo-comments",
  "_id": "_MQggoQBKYghsSwHbDvG",
  ...
  "_source": {
    ...
    "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
    "body": "your dog is so cute!",
    "ml": {
      "inference": {
        "positivity_result": {
          "predicted_value": "POSITIVE",
          "prediction_probability": 0.9998022925461774,
          "model_id": "distilbert-base-uncased-finetuned-sst-2-english"
        }
      }
    }
  }
}

该文档具有包含丰富数据的新字段。 ml.inference.positivity_result 字段是一个对象，其中包含来自机器学习模型的分析。我们使用的模型以 99.98% 的置信度预测分析的文本是积极的。

从这里，我们可以编写搜索查询以提升 ml.inference.positivity_result.predicted_value。如果模型足够自信，此字段也将存储在顶级的 positivity_result 字段中。

在本指南中，我们介绍了如何