检索器
编辑检索器
编辑检索器是在 8.14.0 版本中添加到 Search API 的一个抽象概念,并在 8.16.0 版本中正式发布。此抽象概念允许在单个 _search
调用中配置多阶段检索管道。这简化了您的搜索应用程序逻辑,因为您不再需要通过多次 Elasticsearch 调用配置复杂的搜索,或实现额外的客户端逻辑来合并来自不同查询的结果。
本文档提供了检索器抽象的总体概述。有关实现细节,包括重要的限制,请查阅 _search
API 文档中的 参考文档。
检索器类型
编辑检索器有多种类型,每种类型都针对不同的搜索操作量身定制。目前可用的检索器如下:
-
标准检索器。从传统的 查询返回排名靠前的文档。模拟传统的查询,但在检索器框架的上下文中进行。这确保了向后兼容性,因为仍然支持现有的
_search
请求。这样,您就可以按照自己的节奏过渡到新的抽象概念,而无需混合语法。 - kNN 检索器。在检索器框架的上下文中,从 knn 搜索返回排名靠前的文档。
-
RRF 检索器。使用倒数排名融合 (RRF) 算法合并和排名多个第一阶段检索器。允许您将具有不同相关性指标的多个结果集合并为一个结果集。RRF 检索器是一个 复合检索器,它的
filter
元素会传播到其子检索器。 - 规则检索器。在返回结果之前,将 查询规则应用于查询。
-
文本相似度重排序器检索器。用于语义重排序。需要先使用 Elasticsearch 推理 API 创建
rerank
任务。
检索器有何用处?
编辑以下概述了检索器的用途及其与常规查询的不同之处。
- 简化的用户体验。检索器允许在单个 API 调用中配置整个检索管道,从而简化用户体验。通过自动将传统的查询元素转换为相应的检索器,它保持了与传统查询元素的向后兼容性。
- 结构化检索。检索器提供了一种更结构化的方式来定义搜索操作。它们允许使用“检索器树”来描述搜索,这是一种分层结构,可以清楚地说明操作的顺序和逻辑,使复杂的搜索更易于理解和管理。
- 可组合性和灵活性。检索器支持灵活的可组合性,允许您构建管道,并将不同的检索策略无缝集成到这些管道中。检索器使测试不同的检索策略组合变得容易。
- 复合操作。一个检索器可以有子检索器。这允许复杂的嵌套搜索,其中一个检索器的结果馈入另一个检索器,从而支持可能涉及多个阶段或标准的复杂查询策略。
- 将检索作为第一类概念。与传统的查询(其中查询是更大的搜索 API 调用的一部分)不同,检索器被设计为可以组合或单独使用的独立实体。这使得构建搜索的方法更加模块化和灵活。
-
增强了对文档评分和排名的控制。检索器允许更明确地控制文档的评分和过滤方式。例如,您可以指定最低评分阈值,应用复杂的过滤器而不影响评分,并使用诸如
terminate_after
之类的参数进行性能优化。 -
与现有 Elasticsearch 功能集成。即使可以使用检索器来代替现有的
_search
API 语法(如query
和knn
),它们也被设计为与分页 (search_after
) 和排序等功能无缝集成。通过将所有叶检索器的组合视为布尔查询中的should
子句,它们也保持了与聚合操作的兼容性。 - 更清晰的关注点分离。当使用复合检索器时,只允许使用查询元素,这强制执行更清晰的关注点分离,并防止可能因过度嵌套或相互依赖的配置而引起的复杂性。
示例
编辑以下示例演示了如何使用检索器来简化 RRF 排名查询的可组合性。
GET example-index/_search { "retriever": { "rrf": { "retrievers": [ { "standard": { "query": { "sparse_vector": { "field": "vector.tokens", "inference_id": "my-elser-endpoint", "query": "What blue shoes are on sale?" } } } }, { "standard": { "query": { "match": { "text": "blue shoes sale" } } } } ] } } }
此示例演示了如何将不同的检索策略组合到单个 retriever
管道中。
与使用 sub_searches
方法的 RRF
相比(该方法在 8.16.0 版本中已弃用)
展开查看示例
GET example-index/_search { "sub_searches":[ { "query":{ "match":{ "text":"blue shoes sale" } } }, { "query":{ "sparse_vector": { "field": "vector.tokens", "inference_id": "my-elser-endoint", "query": "What blue shoes are on sale?" } } } ], "rank":{ "rrf":{ "rank_window_size":50, "rank_constant":20 } } }
有关如何使用检索器的更多示例,请参阅 检索器示例。
词汇表
编辑以下是一些重要术语
- 检索管道。定义用于生成排名靠前的命中的整个检索和排名逻辑。
- 检索器树。定义检索器如何交互的分层结构。
- 第一阶段检索器。返回候选文档的初始集合。
- 复合检索器。基于一个或多个检索器构建,增强文档检索和排名逻辑。
- 组合器。合并来自多个子检索器的排名靠前的命中的复合检索器。
- 重排序器。特殊的复合检索器,用于重新排序命中,并可能调整命中次数,区分第一阶段重排序器和第二阶段重排序器。
检索器在实践中
编辑搜索 Playground 使用检索器抽象来构建 Elasticsearch 查询。它会自动检测索引中的字段和类型,并根据您的选择构建检索器树。
您可以使用 Playground 来试验不同的检索器配置,并查看它们如何影响搜索结果。
有关详细信息,请参阅Playground 文档。
API 参考
编辑有关实现细节,包括重要的限制,请查阅 Search API 文档中的 参考文档。