教程：自然语言处理 (NLP)

本指南重点介绍一项具体任务：将机器学习训练模型加载到 Elasticsearch 中，并将其设置为丰富您的文档。

Elasticsearch 支持多种使用机器学习模型的方法。在本指南中，我们将使用训练好的模型，在摄取时使用 Kibana 的 内容 UI 中配置的摄取管道来丰富文档。

在本指南中，我们将通过以下步骤完成上述操作

按照说明加载文本分类模型，并将其设置为丰富一些照片评论数据。一旦您熟悉了所涉及的步骤，就可以将本指南用作处理其他机器学习训练模型的蓝图。

目录:

创建 Elastic Cloud 部署编辑

您的部署将需要一个机器学习实例来上传和部署训练好的模型。

如果您的团队已经有 Elastic Cloud 部署，请确保它至少有一个机器学习实例。如果没有，请编辑您的部署以添加容量。在本教程中，我们将在单个机器学习实例上至少需要 2GB 的 RAM。

如果您的团队没有 Elastic Cloud 部署，请先注册免费的 Elastic Cloud 试用版。创建帐户后，您将拥有一个有效的订阅，系统将提示您创建第一个部署。

按照步骤创建新部署。在创建部署之前，请确保在高级设置下为机器学习实例添加容量。为了简化扩展，请打开自动扩展此部署功能。如果您使用自动扩展，则应增加机器学习实例的最小 RAM。在本教程中，我们至少需要 2GB 的 RAM。有关更多详细信息，请参阅 Elastic Cloud 文档中的创建部署。

使用机器学习丰富文档是在 Enterprise Search 8.5.0 中引入的，因此请确保使用8.5.0 或更高版本。

克隆 Eland编辑

Elastic 的Eland工具可以轻松地通过 Docker 将训练好的模型上传到您的部署中。

Eland 是一个专门的 Elasticsearch 客户端，用于探索和操作数据，我们可以使用它将训练好的模型上传到 Elasticsearch 中。

要使用 Docker 克隆和构建 Eland，请运行以下命令

git clone [email protected]:elastic/eland.git
cd eland
docker build -t elastic/eland .

部署训练好的模型编辑

现在您有了一个部署和一种上传模型的方法，您需要选择一个适合您数据的训练好的模型。Hugging Face 有一个大型的公开可用训练模型库。您选择的模型将取决于您的数据以及您想用它做什么。

为了本指南的目的，假设我们有一个照片评论数据集。为了在我们平台上营造积极的氛围，我们希望每张照片的前几条评论都是积极的评论。为此，distilbert-base-uncased-finetuned-sst-2-english 模型是一个不错的选择。

要将此模型上传到您的部署，您需要一些数据

现在，我们可以通过向 Eland 提供这些选项，将我们选择的模型上传到 Elasticsearch。

docker run -it --rm --network host \
    elastic/eland \
    eland_import_hub_model \
      --url https://ml-test.es.us-west1.gcp.cloud.es.io:443 \
      -u elastic -p <PASSWORD> \
      --hub-model-id distilbert-base-uncased-finetuned-sst-2-english \
      --task-type text_classification \
      --start

此脚本大约需要 2-3 分钟才能运行。将模型成功部署到 Elastic 部署后，导航到 Kibana 的训练模型页面以验证它是否已准备就绪。您可以在机器学习 > 分析菜单，然后训练模型 > 模型管理下找到此页面。如果您在列表中没有看到您的模型，您可能需要单击同步您的作业和训练模型。您的模型现在可以使用了。

创建索引并定义机器学习推理管道编辑

我们现在可以使用 Kibana 的内容 UI 使用推理数据丰富我们的文档。在将照片评论摄取到 Elasticsearch 之前，我们将首先创建一个机器学习推理管道。该管道将使用指示评论是否为正面的推理数据来丰富传入的照片评论。

假设我们的照片评论在作为文档上传到 Elasticsearch 时如下所示

{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  ...
}

我们希望通过使用我们上传的训练模型的推理处理器来运行我们的文档，以确定评论是否为正面。为此，我们首先需要设置一个 Elasticsearch 索引。

要配置机器学习推理管道，我们需要索引具有现有的字段映射，以便我们可以选择要分析的字段。这可以通过 Kibana 开发工具中的索引映射 API 或简单地通过 cURL 命令来完成

PUT search-photo-comments/_mapping
{
  "properties": {
    "photo_id": { "type": "keyword" },
    "body": { "type": "text" }
  }
}

现在是时候创建一个推理管道了。

接下来，我们将添加一个推理管道。

您还可以通过模拟器运行示例文档并在创建管道之前对其进行审查。

索引文档编辑

至此，一切都准备好在索引时丰富文档。

在 Kibana 开发控制台中，或者简单地使用 cURL 命令，我们可以索引一个文档。我们将使用 _run_ml_inference 标志来告诉 search-photo-comments 管道运行我们创建的特定于索引的机器学习推理管道。此字段不会被索引到文档中。

POST search-photo-comments/_doc/my-new-doc?pipeline=search-photo-comments
{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  "_run_ml_inference": true
}

索引文档后，使用 API 检索它并查看丰富的数据。

GET search-photo-comments/_doc/my-new-doc

{
  "_index": "search-photo-comments",
  "_id": "_MQggoQBKYghsSwHbDvG",
  ...
  "_source": {
    ...
    "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
    "body": "your dog is so cute!",
    "ml": {
      "inference": {
        "positivity_result": {
          "predicted_value": "POSITIVE",
          "prediction_probability": 0.9998022925461774,
          "model_id": "distilbert-base-uncased-finetuned-sst-2-english"
        }
      }
    }
  }
}

该文档包含具有丰富数据的新字段。ml.inference.positivity_result 字段是一个包含机器学习模型分析结果的对象。我们使用的模型预测分析的文本为正面的置信度为 99.98%。

从这里，我们可以编写搜索查询以提升 ml.inference.positivity_result.predicted_value。如果模型足够自信，此字段也将存储在顶级 positivity_result 字段中。

总结编辑

在本指南中，我们介绍了如何

了解更多编辑