- Elasticsearch 指南其他版本
- 8.17 中的新功能
- Elasticsearch 基础
- 快速入门
- 设置 Elasticsearch
- 升级 Elasticsearch
- 索引模块
- 映射
- 文本分析
- 索引模板
- 数据流
- 摄取管道
- 别名
- 搜索您的数据
- 重新排名
- 查询 DSL
- 聚合
- 地理空间分析
- 连接器
- EQL
- ES|QL
- SQL
- 脚本
- 数据管理
- 自动缩放
- 监视集群
- 汇总或转换数据
- 设置高可用性集群
- 快照和还原
- 保护 Elastic Stack 的安全
- Watcher
- 命令行工具
- elasticsearch-certgen
- elasticsearch-certutil
- elasticsearch-create-enrollment-token
- elasticsearch-croneval
- elasticsearch-keystore
- elasticsearch-node
- elasticsearch-reconfigure-node
- elasticsearch-reset-password
- elasticsearch-saml-metadata
- elasticsearch-service-tokens
- elasticsearch-setup-passwords
- elasticsearch-shard
- elasticsearch-syskeygen
- elasticsearch-users
- 优化
- 故障排除
- 修复常见的集群问题
- 诊断未分配的分片
- 向系统中添加丢失的层
- 允许 Elasticsearch 在系统中分配数据
- 允许 Elasticsearch 分配索引
- 索引将索引分配过滤器与数据层节点角色混合,以在数据层之间移动
- 没有足够的节点来分配所有分片副本
- 单个节点上索引的分片总数已超过
- 每个节点的分片总数已达到
- 故障排除损坏
- 修复磁盘空间不足的数据节点
- 修复磁盘空间不足的主节点
- 修复磁盘空间不足的其他角色节点
- 启动索引生命周期管理
- 启动快照生命周期管理
- 从快照恢复
- 故障排除损坏的存储库
- 解决重复的快照策略失败问题
- 故障排除不稳定的集群
- 故障排除发现
- 故障排除监控
- 故障排除转换
- 故障排除 Watcher
- 故障排除搜索
- 故障排除分片容量健康问题
- 故障排除不平衡的集群
- 捕获诊断信息
- REST API
- API 约定
- 通用选项
- REST API 兼容性
- 自动缩放 API
- 行为分析 API
- 紧凑和对齐文本 (CAT) API
- 集群 API
- 跨集群复制 API
- 连接器 API
- 数据流 API
- 文档 API
- 丰富 API
- EQL API
- ES|QL API
- 功能 API
- Fleet API
- 图表探索 API
- 索引 API
- 别名是否存在
- 别名
- 分析
- 分析索引磁盘使用量
- 清除缓存
- 克隆索引
- 关闭索引
- 创建索引
- 创建或更新别名
- 创建或更新组件模板
- 创建或更新索引模板
- 创建或更新索引模板(旧版)
- 删除组件模板
- 删除悬挂索引
- 删除别名
- 删除索引
- 删除索引模板
- 删除索引模板(旧版)
- 存在
- 字段使用情况统计信息
- 刷新
- 强制合并
- 获取别名
- 获取组件模板
- 获取字段映射
- 获取索引
- 获取索引设置
- 获取索引模板
- 获取索引模板(旧版)
- 获取映射
- 导入悬挂索引
- 索引恢复
- 索引段
- 索引分片存储
- 索引统计信息
- 索引模板是否存在(旧版)
- 列出悬挂索引
- 打开索引
- 刷新
- 解析索引
- 解析集群
- 翻转
- 收缩索引
- 模拟索引
- 模拟模板
- 拆分索引
- 解冻索引
- 更新索引设置
- 更新映射
- 索引生命周期管理 API
- 推理 API
- 信息 API
- 摄取 API
- 许可 API
- Logstash API
- 机器学习 API
- 机器学习异常检测 API
- 机器学习数据帧分析 API
- 机器学习训练模型 API
- 迁移 API
- 节点生命周期 API
- 查询规则 API
- 重新加载搜索分析器 API
- 存储库计量 API
- 汇总 API
- 根 API
- 脚本 API
- 搜索 API
- 搜索应用程序 API
- 可搜索快照 API
- 安全 API
- 身份验证
- 更改密码
- 清除缓存
- 清除角色缓存
- 清除权限缓存
- 清除 API 密钥缓存
- 清除服务帐户令牌缓存
- 创建 API 密钥
- 创建或更新应用程序权限
- 创建或更新角色映射
- 创建或更新角色
- 批量创建或更新角色 API
- 批量删除角色 API
- 创建或更新用户
- 创建服务帐户令牌
- 委托 PKI 身份验证
- 删除应用程序权限
- 删除角色映射
- 删除角色
- 删除服务帐户令牌
- 删除用户
- 禁用用户
- 启用用户
- 注册 Kibana
- 注册节点
- 获取 API 密钥信息
- 获取应用程序权限
- 获取内置权限
- 获取角色映射
- 获取角色
- 查询角色
- 获取服务帐户
- 获取服务帐户凭据
- 获取安全设置
- 获取令牌
- 获取用户权限
- 获取用户
- 授予 API 密钥
- 具有权限
- 使 API 密钥失效
- 使令牌失效
- OpenID Connect 准备身份验证
- OpenID Connect 身份验证
- OpenID Connect 注销
- 查询 API 密钥信息
- 查询用户
- 更新 API 密钥
- 更新安全设置
- 批量更新 API 密钥
- SAML 准备身份验证
- SAML 身份验证
- SAML 注销
- SAML 失效
- SAML 完成注销
- SAML 服务提供商元数据
- SSL 证书
- 激活用户配置文件
- 禁用用户配置文件
- 启用用户配置文件
- 获取用户配置文件
- 建议用户配置文件
- 更新用户配置文件数据
- 具有用户配置文件权限
- 创建跨集群 API 密钥
- 更新跨集群 API 密钥
- 快照和还原 API
- 快照生命周期管理 API
- SQL API
- 同义词 API
- 文本结构 API
- 转换 API
- 使用情况 API
- Watcher API
- 定义
- 迁移指南
- 发行说明
- Elasticsearch 版本 8.17.0
- Elasticsearch 版本 8.16.1
- Elasticsearch 版本 8.16.0
- Elasticsearch 版本 8.15.5
- Elasticsearch 版本 8.15.4
- Elasticsearch 版本 8.15.3
- Elasticsearch 版本 8.15.2
- Elasticsearch 版本 8.15.1
- Elasticsearch 版本 8.15.0
- Elasticsearch 版本 8.14.3
- Elasticsearch 版本 8.14.2
- Elasticsearch 版本 8.14.1
- Elasticsearch 版本 8.14.0
- Elasticsearch 版本 8.13.4
- Elasticsearch 版本 8.13.3
- Elasticsearch 版本 8.13.2
- Elasticsearch 版本 8.13.1
- Elasticsearch 版本 8.13.0
- Elasticsearch 版本 8.12.2
- Elasticsearch 版本 8.12.1
- Elasticsearch 版本 8.12.0
- Elasticsearch 版本 8.11.4
- Elasticsearch 版本 8.11.3
- Elasticsearch 版本 8.11.2
- Elasticsearch 版本 8.11.1
- Elasticsearch 版本 8.11.0
- Elasticsearch 版本 8.10.4
- Elasticsearch 版本 8.10.3
- Elasticsearch 版本 8.10.2
- Elasticsearch 版本 8.10.1
- Elasticsearch 版本 8.10.0
- Elasticsearch 版本 8.9.2
- Elasticsearch 版本 8.9.1
- Elasticsearch 版本 8.9.0
- Elasticsearch 版本 8.8.2
- Elasticsearch 版本 8.8.1
- Elasticsearch 版本 8.8.0
- Elasticsearch 版本 8.7.1
- Elasticsearch 版本 8.7.0
- Elasticsearch 版本 8.6.2
- Elasticsearch 版本 8.6.1
- Elasticsearch 版本 8.6.0
- Elasticsearch 版本 8.5.3
- Elasticsearch 版本 8.5.2
- Elasticsearch 版本 8.5.1
- Elasticsearch 版本 8.5.0
- Elasticsearch 版本 8.4.3
- Elasticsearch 版本 8.4.2
- Elasticsearch 版本 8.4.1
- Elasticsearch 版本 8.4.0
- Elasticsearch 版本 8.3.3
- Elasticsearch 版本 8.3.2
- Elasticsearch 版本 8.3.1
- Elasticsearch 版本 8.3.0
- Elasticsearch 版本 8.2.3
- Elasticsearch 版本 8.2.2
- Elasticsearch 版本 8.2.1
- Elasticsearch 版本 8.2.0
- Elasticsearch 版本 8.1.3
- Elasticsearch 版本 8.1.2
- Elasticsearch 版本 8.1.1
- Elasticsearch 版本 8.1.0
- Elasticsearch 版本 8.0.1
- Elasticsearch 版本 8.0.0
- Elasticsearch 版本 8.0.0-rc2
- Elasticsearch 版本 8.0.0-rc1
- Elasticsearch 版本 8.0.0-beta1
- Elasticsearch 版本 8.0.0-alpha2
- Elasticsearch 版本 8.0.0-alpha1
- 依赖项和版本
语义重排序
编辑语义重排序
编辑此功能为技术预览版,可能会在未来的版本中更改或删除。Elastic 将努力修复任何问题,但技术预览版中的功能不受正式 GA 功能的支持 SLA 的约束。
本概述侧重于语义重排序的高级概念和用例。有关如何在 Elasticsearch 中设置和使用语义重排序的完整实现细节,请参阅搜索 API 文档中的参考文档。
重排序器提高了早期检索机制的结果的相关性。语义重排序器使用机器学习模型根据搜索结果与查询的语义相似性对其进行重新排序。
语义重排序需要相对较大且复杂的机器学习模型,并实时响应查询进行操作。此技术适用于小型 top-k 结果集,作为管道的最后步骤之一。这是一种强大的技术,可提高搜索相关性,并且与关键字、语义或混合检索算法同样有效。
接下来的部分将提供有关语义重排序的优势、用例和模型类型的更多详细信息。最后的部分包括关于如何在 Elasticsearch 中实现语义重排序的实用、高级概述,并提供完整参考文档的链接。
用例
编辑语义重排序支持各种用例
-
词汇(BM25)检索结果重排序
- 通过向任何词汇/BM25 检索管道添加简单的 API 调用来实现开箱即用的语义搜索。
- 在现有索引之上添加语义搜索功能,无需重新索引,非常适合快速改进。
- 适用于具有复杂现有索引的环境。
-
语义检索结果重排序
- 通过使用更强大的模型,改进来自使用 ELSER 稀疏向量嵌入或密集向量嵌入的语义检索器的结果。
- 在使用倒数排名融合 (RRF)的混合检索之上添加细化层。
-
通用应用
- 支持自动和透明的分块,无需在索引时进行预分块。
- 在检索增强生成 (RAG) 用例或其他涉及语言模型 (LLM) 输入的场景中,提供对文档相关性的显式控制。
现在我们已经概述了语义重排序的价值,我们将探讨为该过程提供支持的特定模型以及它们的差异。
交叉编码器和双编码器模型
编辑在高层,有两种模型类型用于语义重排序:交叉编码器和双编码器。
在此版本中,Elasticsearch 仅支持交叉编码器进行语义重排序。
- 交叉编码器模型可以被认为是一种更强大的、多合一的解决方案,因为它生成与查询相关的文档表示。它将查询和文档文本作为单个连接的输入。
-
双编码器模型将文档或查询文本作为输入。文档和查询嵌入是单独计算的,因此它们彼此不知道。
- 要计算排名分数,需要进行外部操作。这通常涉及计算查询和文档嵌入之间的点积或余弦相似度。
简而言之,交叉编码器提供高精度,但资源密集程度更高。双编码器更快、成本效益更高,但精度较低。
在未来的版本中,Elasticsearch 也将支持双编码器。如果您对交叉编码器和双编码器之间实际差异的更详细分析感兴趣,请取消切换下一节。
交叉编码器和双编码器之间的比较
以下是在为语义重排序选择交叉编码器和双编码器时需要考虑的一些非详尽的列表
- 由于交叉编码器模型同时处理查询和文档文本,因此它可以更好地推断它们的相关性,使其作为重排序器比双编码器更有效。
- 交叉编码器模型通常更大,计算密集程度更高,导致延迟更高,计算成本增加。
- 开源的交叉编码器明显较少,而双编码器提供了各种尺寸、语言和其他权衡。
- 交叉编码器的有效性还可以提高语义检索器的相关性。例如,它们考虑词序的能力可以改进密集或稀疏嵌入检索。
- 当与特定的检索器(如词汇/BM25)一起训练时,交叉编码器可以“纠正”这些检索器通常犯的错误。
- 交叉编码器输出的分数在所有查询中都是一致的。这使您可以通过为所有查询设置最低分数阈值来保持结果集中的高相关性。例如,这在使用 RAG 工作流中的结果时或在将结果馈送到 LLM 时很重要。请注意,来自双编码器/嵌入相似性的相似性分数是依赖于查询的,这意味着您不能设置通用截止值。
- 双编码器使用嵌入进行重排序。您可以通过在摄取时创建嵌入来缩短重排序延迟。这些嵌入可以存储用于重排序,而无需对其进行索引以进行检索,从而减少内存占用。
Elasticsearch 中的语义重排序
编辑在 Elasticsearch 中,语义重排序器是使用 Elasticsearch 推理 API 和检索器实现的。
要在 Elasticsearch 中使用语义重排序,您需要
-
选择并配置重排序模型。您有以下选项
- 通过推理 API 的 Elasticsearch 服务使用Elastic 重排序交叉编码器模型。
- 使用Cohere 重排序推理端点来创建
rerank
端点。 - 使用Google Vertex AI 推理端点来创建
rerank
端点。 -
使用 Eland 从 Hugging Face 上传模型到 Elasticsearch。使用 Eland 加载模型时,您需要使用
text_similarity
NLP 任务类型。然后使用rerank
端点类型设置Elasticsearch 服务推理端点。有关 Elasticsearch 支持语义重排序的第三方文本相似性模型的列表,请参阅Elastic NLP 模型参考。
-
使用Elasticsearch 推理 API创建
rerank
端点。推理 API 创建推理端点,并配置您选择的机器学习模型以执行重排序任务。 -
在您的搜索请求中定义
text_similarity_reranker
检索器。检索器语法可以简单地在单个 API 调用中配置搜索结果的检索和重排序。
带有语义重排序器的示例搜索请求
以下示例显示了一个搜索请求,该请求使用语义重排序器根据语义相似性对前 k 个文档进行重新排序。
const response = await client.search({ retriever: { text_similarity_reranker: { retriever: { standard: { query: { match: { text: "How often does the moon hide the sun?", }, }, }, }, field: "text", inference_id: "elastic-rerank", inference_text: "How often does the moon hide the sun?", rank_window_size: 100, min_score: 0.5, }, }, }); console.log(response);
POST _search { "retriever": { "text_similarity_reranker": { "retriever": { "standard": { "query": { "match": { "text": "How often does the moon hide the sun?" } } } }, "field": "text", "inference_id": "elastic-rerank", "inference_text": "How often does the moon hide the sun?", "rank_window_size": 100, "min_score": 0.5 } } }
了解更多
编辑- 阅读检索器参考文档以了解语法和实现细节
- 详细了解检索器抽象
- 详细了解 Elastic 推理 API
- 查看我们的 Python 笔记本,了解如何将 Cohere 与 Elasticsearch 一起使用
On this page