关于 ESRE 的常见问题
编辑关于 ESRE 的常见问题编辑
什么是 Elasticsearch Relevance Engine？
Elasticsearch Relevance Engine (ESRE) 是一套使用机器学习 (ML) 和人工智能 (AI) 开发搜索应用程序的工具。
查看 学习 以了解 ESRE 的每个组成部分。
我可以用 Elasticsearch Relevance Engine 创建什么？
Elasticsearch 是领先的网站搜索技术（想想电子商务产品和发现）以及在组织的数字环境中检索信息（想想客户成功知识库和企业搜索）。ESRE 是用于构建 AI 驱动的搜索体验的工具包。您的用户可以使用自然语言表达他们的查询，以问题的形式或他们需要的信息描述的形式。将此自然语言功能与生成式 AI 相结合，以使用来自私有或专有数据的上下文来增强模型。
查看 示例 以获取示例应用程序和实现的链接。
Elasticsearch 和 Elasticsearch Relevance Engine 有什么区别？
Elasticsearch Relevance Engine 工具旨在使用 Elasticsearch 作为底层存储和搜索技术。开发人员可以使用 Elastic API 或熟悉的工具（如 Kibana）与该工具包进行交互。
什么是 Elastic Learned Sparse Encoder？
Elastic Learned Sparse Encoder 是 Elastic 为跨各种领域实现高相关性语义搜索而构建的模型。此文本扩展模型使用文本的稀疏向量表示，与传统的密集向量表示相比。这意味着您不需要为您的数据（或查询）生成嵌入，并且您不需要针对您的领域微调模型。
此模型有助于在自然语言查询中捕获含义和意图，并且因为它不需要在您的数据上进行微调，因此它可以开箱即用。
什么是混合搜索？
混合搜索是向量搜索和词法搜索的结合。Elasticsearch 是词法搜索领域的行业领导者，我们从 2019 年就开始投资向量搜索功能。Elastic 使您能够将两者的优势结合起来。使用 RRF 使用 Elastic 为您的混合搜索策略提供动力。
什么是 RRF？
互惠排名融合 (RRF) 是一种最先进的排名融合算法，用于结合来自多个信息检索系统的排名，而无需校准或微调。
使用 Elastic 8.9.0，您现在可以通过将 ELSER 支持的语义搜索与使用 检索器选项 的经典词法搜索相结合来实施混合搜索策略。
什么是向量数据库？
向量数据库包含两个主要组件
- 嵌入存储和索引。嵌入是您的非结构化数据（文本、图像等）的向量表示。每个数据点由一个数字数组（或向量）表示，绘制（或嵌入）在一个高维数学空间中。简单来说，嵌入意味着将您的数据转换为浮点数，其中类似的数据点彼此靠近。不同的模型使用不同的技术来生成嵌入，但原理相同：类似的数据点在向量空间中彼此更靠近。
- 搜索算法。向量数据库使用搜索算法来查找给定查询的最近邻。当用户发送查询时，查询文本将被嵌入，使用与训练数据相同的算法。这使得快速语义相似性搜索成为可能。由于值存在于连续统中，因此您可以找到语义上相似的数据点，即使它们不共享相同的关键字。
请注意，传统的向量搜索使用数据的密集向量表示，这与 Elastic Learned Sparse Encoder 模型的稀疏表示是不同的方法。
Elasticsearch 是向量数据库吗？
Elasticsearch 是向量数据库，而且功能更多！与纯粹的向量数据库不同，Elastic 在一个平台中整合了您使用向量所需的所有组件
-
嵌入存储。使用
dense_vector字段类型在 Elasticsearch 中本机存储和索引您的嵌入。 - 最近邻搜索。使用我们的推理 API 有效地搜索数据集中的给定查询的 最近邻。
- 嵌入模型。在 Elastic 平台中为您的数据生成嵌入。
这种方法消除了进行外部 API 调用的低效率和复杂性，这是纯粹的向量数据库的局限性。
什么是 Transformer，Elastic Learned Sparse Encoder 是 Transformer 模型吗？
Transformer 是一种深度神经网络架构，它作为 LLMs 的基础。Transformer 由各种组件组成，可以由编码器、解码器和许多具有数百万（甚至数十亿）个参数的“深度”神经网络层组成。
通常在互联网上像数据这样的非常大的文本语料库上进行训练，并且可以进行微调以执行各种 NLP 任务。我们的新检索模型使用 Transformer 架构，但包含专为跨各种领域进行语义搜索而设计的编码器。
如何开始使用 Elasticsearch Relevance Engine？我是否需要单独购买 Elasticsearch Relevance Engine？
Elasticsearch Relevance Engine 的所有功能都包含在 Elastic Enterprise Search Platinum 和 Enterprise 计划中。如果您有 Elasticsearch 许可证，则 Elasticsearch Relevance Engine 将包含在您的购买中。您可以开始使用 ELSER 的文本扩展 在 Kibana 搜索 UI 中。
使用我们的 示例 来获取灵感，了解如何使用语义搜索、混合搜索等构建您自己的 AI 驱动的搜索应用程序。
什么是 Elastic AI Assistant？
该 Elastic AI Assistant 是我们使用 ESRE 推出的第一个特定领域的生成式 AI 应用程序。助手可在聊天界面中使用，用户可以使用自然语言提出问题并获得量身定制的答案。