« 教程：将 Cohere 与 Elasticsearch 结合使用 将您自己的稠密向量嵌入带到 Elasticsearch »
Elastic 文档 ›Elasticsearch 指南 [8.17] ›搜索您的数据 ›语义搜索

教程：使用已部署的模型进行语义搜索

编辑

教程：使用已部署的模型进行语义搜索

编辑

本指南向您展示如何使用部署在 Elasticsearch 中的模型来实现语义搜索：从选择 NLP 模型到编写查询。

选择 NLP 模型

编辑

Elasticsearch 提供了 各种 NLP 模型 的使用，包括稠密和稀疏向量模型。您对语言模型的选择对于成功实现语义搜索至关重要。

虽然可以引入您自己的文本嵌入模型，但通过模型调整获得良好的搜索结果具有挑战性。从我们的第三方模型列表中选择合适的模型是第一步。在您自己的数据上训练模型对于确保比仅使用 BM25 获得更好的搜索结果至关重要。但是，模型训练过程需要一个数据科学家和 ML 专家团队，这使得它既昂贵又耗时。

为了解决这个问题，Elastic 提供了一个名为 Elastic Learned Sparse EncodeR (ELSER) 的预训练表示模型。ELSER 目前仅适用于英语，是一种开箱即用的稀疏向量模型，不需要进行微调。这种适应性使其适用于各种开箱即用的 NLP 用例。除非您有一个 ML 专家团队，否则强烈建议使用 ELSER 模型。

在稀疏向量表示的情况下，向量主要由零值组成，只有一小部分包含非零值。这种表示通常用于文本数据。在 ELSER 的情况下，索引中的每个文档和查询文本本身都由高维稀疏向量表示。向量的每个非零元素都对应于模型词汇表中的一个词。ELSER 词汇表包含大约 30000 个词，因此 ELSER 创建的稀疏向量包含大约 30000 个值，其中大部分为零。实际上，ELSER 模型正在将原始查询中的词替换为已学习存在于训练数据集中最匹配原始搜索词的文档中的其他词，并使用权重来控制每个词的重要性。

部署模型

编辑

在您决定使用哪个模型来实现语义搜索后，您需要在 Elasticsearch 中部署该模型。

要部署 ELSER，请参阅 下载并部署 ELSER。

映射文本嵌入的字段

编辑

在开始使用已部署的模型根据您的输入文本生成嵌入之前，您需要首先准备您的索引映射。索引的映射取决于模型的类型。

ELSER 从输入文本和查询中生成词元-权重对作为输出。Elasticsearch sparse_vector 字段类型可以将这些词元-权重对存储为数字特征向量。索引必须具有一个 sparse_vector 字段类型的字段，以索引 ELSER 生成的词元。

要为您的 ELSER 索引创建映射，请参阅本教程的 创建索引映射部分。该示例演示了如何为 my-index 创建索引映射，该映射将 my_embeddings.tokens 字段（其中将包含 ELSER 输出）定义为 sparse_vector 字段。

resp = client.indices.create(
    index="my-index",
    mappings={
        "properties": {
            "my_tokens": {
                "type": "sparse_vector"
            },
            "my_text_field": {
                "type": "text"
            }
        }
    },
)
print(resp)
response = client.indices.create(
  index: 'my-index',
  body: {
    mappings: {
      properties: {
        my_tokens: {
          type: 'sparse_vector'
        },
        my_text_field: {
          type: 'text'
        }
      }
    }
  }
)
puts response
const response = await client.indices.create({
  index: "my-index",
  mappings: {
    properties: {
      my_tokens: {
        type: "sparse_vector",
      },
      my_text_field: {
        type: "text",
      },
    },
  },
});
console.log(response);
PUT my-index
{
  "mappings": {
    "properties": {
      "my_tokens": { 
        "type": "sparse_vector" 
      },
      "my_text_field": { 
        "type": "text" 
      }
    }
  }
}

将包含 ELSER 生成的词元的字段的名称。

包含词元的字段必须是 sparse_vector 字段。

从中创建稀疏向量表示的字段的名称。在此示例中，字段的名称为 my_text_field。

在此示例中，字段类型为 text。

生成文本嵌入

编辑

一旦您为索引创建了映射，就可以从您的输入文本生成文本嵌入。这可以通过使用具有 推理处理器的摄取管道来完成。摄取管道处理输入数据并将其索引到目标索引中。在索引时，推理摄取处理器使用经过训练的模型来推断通过管道摄取的数据。在使用推理处理器创建摄取管道后，您可以通过它摄取您的数据以生成模型输出。

以下是如何创建使用 ELSER 模型的摄取管道

resp = client.ingest.put_pipeline(
    id="my-text-embeddings-pipeline",
    description="Text embedding pipeline",
    processors=[
        {
            "inference": {
                "model_id": ".elser_model_2",
                "input_output": [
                    {
                        "input_field": "my_text_field",
                        "output_field": "my_tokens"
                    }
                ]
            }
        }
    ],
)
print(resp)
response = client.ingest.put_pipeline(
  id: 'my-text-embeddings-pipeline',
  body: {
    description: 'Text embedding pipeline',
    processors: [
      {
        inference: {
          model_id: '.elser_model_2',
          input_output: [
            {
              input_field: 'my_text_field',
              output_field: 'my_tokens'
            }
          ]
        }
      }
    ]
  }
)
puts response
const response = await client.ingest.putPipeline({
  id: "my-text-embeddings-pipeline",
  description: "Text embedding pipeline",
  processors: [
    {
      inference: {
        model_id: ".elser_model_2",
        input_output: [
          {
            input_field: "my_text_field",
            output_field: "my_tokens",
          },
        ],
      },
    },
  ],
});
console.log(response);
PUT _ingest/pipeline/my-text-embeddings-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_2",
        "input_output": [ 
          {
            "input_field": "my_text_field",
            "output_field": "my_tokens"
          }
        ]
      }
    }
  ]
}

配置对象，定义推理过程的 input_field 和将包含推理结果的 output_field。

要通过管道摄取数据以使用 ELSER 生成词元，请参阅本教程的 通过推理摄取管道摄取数据 部分。在使用管道成功摄取文档后，您的索引将包含 ELSER 生成的词元。词元是捕获相关性的学习关联，它们不是同义词。要了解有关词元的更多信息，请参阅 此页面。

现在是执行语义搜索的时候了！

搜索数据

编辑

根据您部署的模型类型，您可以使用 稀疏向量查询来查询排名特征，或使用 kNN 搜索来查询稠密向量。

超越语义搜索的混合搜索

编辑

在某些情况下，词法搜索可能比语义搜索表现更好。例如，当搜索单个词或 ID（如产品编号）时。

使用 倒数排名融合将语义搜索和词法搜索组合到一个混合搜索请求中，可以提供两全其美的效果。不仅如此，而且使用倒数排名融合的混合搜索通常已被证明表现更好。

« 教程：将 Cohere 与 Elasticsearch 结合使用 将您自己的稠密向量嵌入带到 Elasticsearch »