加载中

检索器

Elastic Stack Serverless

检索器是在 8.14.0 中添加到 _search API 的一个抽象概念，并在 8.16.0 中正式发布。

此语法支持在单个 _search 调用中配置多阶段检索管道。 这简化了您的搜索应用程序逻辑，因为您不再需要通过多个 Elasticsearch 调用来配置复杂的搜索，或者实现额外的客户端逻辑来组合来自不同查询的结果。

注意

本文档提供了检索器抽象的总体概述。 有关完整的语法参考和实现概述，请查看 _search API 文档中的参考文档。

提示

更喜欢从一些示例代码开始？ 请查看检索器示例，其中包含检索器示例的集合。

检索器有多种类型，每种类型都针对不同的搜索操作而定制。 目前有以下检索器可用

  • 标准检索器。 从传统的查询返回排名靠前的文档。 模仿传统的查询，但在检索器框架的上下文中。 这确保了向后兼容性，因为现有 _search 请求仍然受支持。 这样，您就可以按照自己的节奏过渡到新的抽象，而无需混合语法。
  • kNN 检索器。 在检索器框架的上下文中，从 knn 搜索返回排名靠前的文档。
  • 线性检索器。 使用其分数的加权总和来组合来自多个子检索器的排名靠前的结果。 允许为每个检索器指定不同的权重，以及独立地标准化来自每个结果集的分数。
  • RRF 检索器。 使用倒数排名融合 (RRF) 算法组合和排序多个第一阶段检索器。 允许您将具有不同相关性指标的多个结果集合并到单个结果集中。 RRF 检索器是一个 复合检索器，其中其 filter 元素会传播到其子检索器。
  • 规则检索器。 在返回结果之前，将查询规则应用于查询。
  • 文本相似性重新排序器检索器。 用于语义重新排序。 需要首先使用Elasticsearch 推理 API 创建一个 rerank 任务。

以下概述了检索器的作用以及它们与常规查询的不同之处。

  1. 简化的用户体验。 检索器通过允许在单个 API 调用中配置整个检索管道来简化用户体验。 这通过自动将传统的查询元素转换为相应的检索器来保持与传统的查询元素的向后兼容性。
  2. 结构化检索。 检索器提供了一种更结构化的方式来定义搜索操作。 它们允许使用“检索器树”来描述搜索，这是一种分层结构，可以阐明操作的顺序和逻辑，使复杂的搜索更易于理解和管理。
  3. 可组合性和灵活性。 检索器支持灵活的可组合性，使您可以构建管道并将不同的检索策略无缝集成到这些管道中。 检索器使您可以轻松测试不同的检索策略组合。
  4. 复合操作。 检索器可以有子检索器。 这允许复杂的嵌套搜索，其中一个检索器的结果馈送到另一个检索器，从而支持可能涉及多个阶段或条件的复杂查询策略。
  5. 将检索作为一等概念。 与传统的查询（其中查询是较大的搜索 API 调用的一部分）不同，检索器被设计为可以组合或单独使用的独立实体。 这使得构建搜索的方法更加模块化和灵活。
  6. 增强了对文档评分和排名的控制。 检索器允许更明确地控制文档的评分和过滤方式。 例如，您可以指定最低分数阈值、应用复杂的过滤器而不影响评分，以及使用 terminate_after 等参数来优化性能。
  7. 与现有 Elasticsearch 功能集成。 即使可以使用检索器来代替现有的 _search API 语法（例如 query 和 knn），它们也被设计为与分页 (search_after) 和排序等功能无缝集成。 它们还通过将所有叶检索器的组合视为布尔查询中的 should 子句来保持与聚合操作的兼容性。
  8. 更清晰的关注点分离。 使用复合检索器时，只允许使用 query 元素，这强制执行更清晰的关注点分离，并防止可能由过度嵌套或相互依赖的配置引起的复杂性。

以下示例演示了使用检索器如何简化 RRF 排名查询的可组合性。

GET example-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "sparse_vector": {
                "field": "vector.tokens",
                "inference_id": "my-elser-endpoint",
                "query": "What blue shoes are on sale?"
              }
            }
          }
        },
        {
          "standard": {
            "query": {
              "match": {
                "text": "blue shoes sale"
              }
            }
          }
        }
      ]
    }
  }
}

此示例演示了如何将不同的检索策略组合到单个 retriever 管道中。

与使用 sub_searches 方法的 RRF 进行比较（该方法已在 8.16.0 中弃用）

展开以查看示例 
GET example-index/_search
{
  "sub_searches":[
    {
      "query":{
        "match":{
          "text":"blue shoes sale"
        }
      }
    },
    {
      "query":{
        "sparse_vector": {
            "field": "vector.tokens",
            "inference_id": "my-elser-endoint",
            "query": "What blue shoes are on sale?"
          }
        }
      }
  ],
  "rank":{
    "rrf":{
      "rank_window_size":50,
      "rank_constant":20
    }
  }
}

有关更多示例，请参阅检索器示例。

以下是一些重要术语

  • 检索管道。 定义生成排名靠前的命中的整个检索和排名逻辑。
  • 检索器树。 定义检索器如何交互的分层结构。
  • 第一阶段检索器。 返回一组初始的候选文档。
  • 复合检索器。 以一个或多个检索器为基础，增强文档检索和排名逻辑。
  • 组合器。 组合来自多个子检索器的排名靠前的命中的复合检索器。
  • 重新排序器。 特殊的复合检索器，用于重新排序命中并可能调整命中的数量，并且区分第一阶段和第二阶段重新排序器。

Search Playground 使用检索器抽象构建 Elasticsearch 查询。 它会自动检测索引中的字段和类型，并根据您的选择构建检索器树。

您可以使用 Playground 来尝试不同的检索器配置，并查看它们如何影响搜索结果。

有关更多信息，请参阅Playground 文档。

有关实现细节（包括值得注意的限制）的信息，请查看搜索 API 文档中的参考文档。

© . All rights reserved.