› ›

语义搜索

语义搜索编辑

语义搜索是一种搜索方法，可帮助您根据搜索查询的意图和上下文含义查找数据，而不是匹配查询词（词法搜索）。

Elasticsearch 使用自然语言处理 (NLP) 和向量搜索提供语义搜索功能。将 NLP 模型部署到 Elasticsearch 使其能够从文本中提取文本嵌入。嵌入是提供文本数字表示的向量。具有相似含义的内容片段具有相似的表示形式。

A simplified representation of encoding textual concepts as vectors

图 8. 将文本概念编码为向量的简化表示

在查询时，Elasticsearch 可以使用相同的 NLP 模型将查询转换为嵌入，使您能够找到具有相似文本嵌入的文档。

本指南向您展示如何使用 Elasticsearch 实现语义搜索，从选择 NLP 模型到编写查询。

选择 NLP 模型编辑

Elasticsearch 提供了各种 NLP 模型的使用，包括密集和稀疏向量模型。您对语言模型的选择对于成功实施语义搜索至关重要。

虽然可以引入您自己的文本嵌入模型，但通过模型调整获得良好的搜索结果具有挑战性。从我们的第三方模型列表中选择合适的模型是第一步。在您自己的数据上训练模型对于确保比仅使用 BM25 更好的搜索结果至关重要。但是，模型训练过程需要一个数据科学家和机器学习专家团队，这既昂贵又耗时。

为了解决这个问题，Elastic 提供了一个名为 Elastic Learned Sparse EncodeR (ELSER) 的预训练表示模型。ELSER 目前仅适用于英语，它是一个域外稀疏向量模型，不需要微调。这种适应性使其适用于开箱即用的各种 NLP 用例。除非您拥有一支机器学习专家团队，否则强烈建议使用 ELSER 模型。

在稀疏向量表示的情况下，向量主要由零值组成，只有一小部分包含非零值。此表示形式通常用于文本数据。在 ELSER 的情况下，索引中的每个文档和查询文本本身都由高维稀疏向量表示。向量的每个非零元素对应于模型词汇表中的一个词项。ELSER 词汇表包含大约 30000 个词项，因此 ELSER 创建的稀疏向量包含大约 30000 个值，其中大部分为零。实际上，ELSER 模型正在用其他词项替换原始查询中的词项，这些词项已学会存在于与训练数据集中原始搜索词最匹配的文档中，并通过权重来控制每个词项的重要性。

部署模型编辑

确定要用于实现语义搜索的模型后，您需要在 Elasticsearch 中部署该模型。

要部署 ELSER，请参阅下载和部署 ELSER。

映射文本嵌入的字段编辑

在开始使用已部署的模型根据您的输入文本生成嵌入之前，您需要先准备索引映射。索引的映射取决于模型的类型。

ELSER 从输入文本和查询中生成词项-权重对作为输出。Elasticsearch sparse_vector 字段类型可以将这些词项-权重对存储为数字特征向量。索引必须具有 sparse_vector 字段类型的字段才能索引 ELSER 生成的词项。

要为您的 ELSER 索引创建映射，请参阅教程的创建索引映射部分。该示例展示了如何为 my-index 创建索引映射，该映射将包含 ELSER 输出的 my_embeddings.tokens 字段定义为 sparse_vector 字段。

response = client.indices.create(
  index: 'my-index',
  body: {
    mappings: {
      properties: {
        my_tokens: {
          type: 'sparse_vector'
        },
        my_text_field: {
          type: 'text'
        }
      }
    }
  }
)
puts response

PUT my-index
{
  "mappings": {
    "properties": {
      "my_tokens": { 
        "type": "sparse_vector" 
      },
      "my_text_field": { 
        "type": "text" 
      }
    }
  }
}

	将包含 ELSER 生成的词项的字段的名称。
	包含词项的字段必须是 `sparse_vector` 字段。
	要从中创建稀疏向量表示的字段的名称。在此示例中，字段的名称为 `my_text_field`。
	在此示例中，字段类型为 `text`。

与 Elasticsearch NLP 兼容的模型生成密集向量作为输出。dense_vector 字段类型适用于存储数字值的密集向量。索引必须具有 dense_vector 字段类型的字段才能索引您选择的受支持第三方模型生成的嵌入。请记住，该模型会生成具有一定维度的嵌入。必须使用 dims 选项将 dense_vector 字段配置为具有相同数量的维度。有关嵌入维度数量的信息，请参阅相应的模型文档。

要查看 NLP 模型的索引映射，请参阅教程的将文本嵌入模型添加到摄取推理管道部分中的映射代码片段。该示例展示了如何创建索引映射，该映射将包含模型输出的 my_embeddings.predicted_value 字段定义为 dense_vector 字段。

response = client.indices.create(
  index: 'my-index',
  body: {
    mappings: {
      properties: {
        'my_embeddings.predicted_value' => {
          type: 'dense_vector',
          dims: 384
        },
        my_text_field: {
          type: 'text'
        }
      }
    }
  }
)
puts response

PUT my-index
{
  "mappings": {
    "properties": {
      "my_embeddings.predicted_value": { 
        "type": "dense_vector", 
        "dims": 384 
      },
      "my_text_field": { 
        "type": "text" 
      }
    }
  }
}

	将包含模型生成的嵌入的字段的名称。
	包含嵌入的字段必须是 `dense_vector` 字段。
	该模型会生成具有一定维度的嵌入。必须使用 `dims` 选项将 `dense_vector` 字段配置为具有相同数量的维度。有关嵌入维度数量的信息，请参阅相应的模型文档。
	要从中创建密集向量表示的字段的名称。在此示例中，字段的名称为 `my_text_field`。
	在此示例中，字段类型为 `text`。

生成文本嵌入编辑

为索引创建映射后，您可以从输入文本生成文本嵌入。这可以通过使用带有推理处理器的摄取管道来完成。摄取管道处理输入数据并将其索引到目标索引中。在索引时，推理摄取处理器使用训练好的模型对通过管道摄取的数据进行推理。使用推理处理器创建摄取管道后，您可以通过它摄取数据以生成模型输出。

以下是创建使用 ELSER 模型的摄取管道的方法

response = client.ingest.put_pipeline(
  id: 'my-text-embeddings-pipeline',
  body: {
    description: 'Text embedding pipeline',
    processors: [
      {
        inference: {
          model_id: '.elser_model_2',
          input_output: [
            {
              input_field: 'my_text_field',
              output_field: 'my_tokens'
            }
          ]
        }
      }
    ]
  }
)
puts response

PUT _ingest/pipeline/my-text-embeddings-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_2",
        "input_output": [ 
          {
            "input_field": "my_text_field",
            "output_field": "my_tokens"
          }
        ]
      }
    }
  ]
}

配置对象，用于定义推理过程的 input_field 和将包含推理结果的 output_field。

要通过管道摄取数据以使用 ELSER 生成词项，请参阅教程的通过推理摄取管道摄取数据部分。使用管道成功摄取文档后，您的索引将包含 ELSER 生成的词项。词项是捕获相关性的学习关联，它们不是同义词。要详细了解什么是词项，请参阅此页面。

以下是创建使用文本嵌入模型的摄取管道的方法

response = client.ingest.put_pipeline(
  id: 'my-text-embeddings-pipeline',
  body: {
    description: 'Text embedding pipeline',
    processors: [
      {
        inference: {
          model_id: 'sentence-transformers__msmarco-minilm-l-12-v3',
          target_field: 'my_embeddings',
          field_map: {
            my_text_field: 'text_field'
          }
        }
      }
    ]
  }
)
puts response

PUT _ingest/pipeline/my-text-embeddings-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
    {
      "inference": {
        "model_id": "sentence-transformers__msmarco-minilm-l-12-v3", 
        "target_field": "my_embeddings",
        "field_map": { 
          "my_text_field": "text_field"
        }
      }
    }
  ]
}

	要使用的文本嵌入模型的模型 ID。
	`field_map` 对象将输入文档字段名称（在本例中为 `my_text_field`）映射到模型期望的字段名称（始终为 `text_field`）。

要通过管道摄取数据以使用您选择的模型生成文本嵌入，请参阅将文本嵌入模型添加到摄取推理管道部分。该示例展示了如何使用推理处理器创建管道以及如何通过管道重新索引数据。使用管道成功摄取文档后，您的索引将包含模型生成的文本嵌入。

现在是时候执行语义搜索了！

搜索数据编辑

根据您部署的模型类型，您可以使用文本扩展查询查询排名特征，或使用 kNN 搜索查询密集向量。

可以使用文本扩展查询查询 ELSER 文本嵌入。文本扩展查询使您能够通过提供 NLP 模型的模型 ID 和查询文本，查询排名特征字段或稀疏向量字段

response = client.search(
  index: 'my-index',
  body: {
    query: {
      text_expansion: {
        my_tokens: {
          model_id: '.elser_model_2',
          model_text: 'the query string'
        }
      }
    }
  }
)
puts response

GET my-index/_search
{
   "query":{
      "text_expansion":{
         "my_tokens":{ 
            "model_id":".elser_model_2",
            "model_text":"the query string"
         }
      }
   }
}

sparse_vector 类型的字段。

可以使用 kNN 搜索查询密集向量模型生成的文本嵌入。在 knn 子句中，提供密集向量字段的名称，以及带有模型 ID 和查询文本的 query_vector_builder 子句。

response = client.search(
  index: 'my-index',
  body: {
    knn: {
      field: 'my_embeddings.predicted_value',
      k: 10,
      num_candidates: 100,
      query_vector_builder: {
        text_embedding: {
          model_id: 'sentence-transformers__msmarco-minilm-l-12-v3',
          model_text: 'the query string'
        }
      }
    }
  }
)
puts response

GET my-index/_search
{
  "knn": {
    "field": "my_embeddings.predicted_value",
    "k": 10,
    "num_candidates": 100,
    "query_vector_builder": {
      "text_embedding": {
        "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
        "model_text": "the query string"
      }
    }
  }
}

超越混合搜索的语义搜索编辑

在某些情况下，词法搜索的性能可能优于语义搜索。例如，当搜索单个词或 ID（如产品编号）时。

使用倒数排名融合将语义搜索和词法搜索组合到一个混合搜索请求中，可以提供两全其美的效果。不仅如此，使用倒数排名融合的混合搜索已被证明总体上表现更好。

可以通过使用 rrf 检索器作为搜索请求的一部分，在语义查询和词法查询之间实现混合搜索。为 rrf 检索器提供一个 text_expansion 查询和一个全文查询作为 standard 检索器。rrf 检索器使用倒数排名融合对排名靠前的文档进行排序。

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "my_text_field": "the query string"
              }
            }
          }
        },
        {
          "standard": {
            "query": {
              "text_expansion": {
                "my_tokens": {
                  "model_id": ".elser_model_2",
                  "model_text": "the query string"
                }
              }
            }
          }
        }
      ]
    }
  }
}

可以通过以下方式实现语义查询和词法查询之间的混合搜索：

使用 rrf 检索器通过倒数排名融合对排名靠前的文档进行排序
使用带有 query 子句的 standard 检索器作为子检索器进行全文查询
使用 knn 检索器作为子检索器，使用 kNN 搜索查询密集向量字段

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "my_text_field": "the query string"
              }
            }
          }
        },
        {
          "knn": {
            "field": "text_embedding.predicted_value",
            "k": 10,
            "num_candidates": 100,
            "query_vector_builder": {
              "text_embedding": {
                "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
                "model_text": "the query string"
              }
            }
          }
        }
      ]
    }
  }
}

了解更多信息编辑

教程
- 使用 ELSER 进行语义搜索
- 使用 msmarco-MiniLM-L-12-v3 句子转换器模型进行语义搜索
博客
交互式示例
- elasticsearch-labs 代码库包含许多交互式语义搜索示例，这些示例采用可执行 Python 笔记本的形式，并使用 Elasticsearch Python 客户端

« k 最近邻 (kNN) 搜索教程：使用 ELSER 进行语义搜索 »