关于 ESRE 的常见问题解答
编辑关于 ESRE 的常见问题解答
编辑什么是 Elasticsearch 相关性引擎？
Elasticsearch 相关性引擎 (ESRE) 是一个使用机器学习 (ML) 和人工智能 (AI) 开发搜索应用程序的工具集合。
请参阅了解，了解构成 ESRE 的每个组件。
我可以使用 Elasticsearch 相关性引擎构建什么？
Elasticsearch 是领先的网站搜索技术（例如电子商务产品和发现），以及在组织数字环境中检索信息（例如客户成功知识库和企业搜索）。ESRE 是一个用于构建 AI 驱动的搜索体验的工具包。您的用户可以使用自然语言以问题或他们需要的信息描述的形式表达查询。将此自然语言功能与生成式 AI 结合使用，可以通过来自私有或专有数据的上下文来增强模型。
请参阅示例，查看示例应用程序和实现的链接。
Elasticsearch 和 Elasticsearch 相关性引擎有何不同？
Elasticsearch 相关性引擎工具旨在将 Elasticsearch 用作底层存储和搜索技术。开发人员可以使用 Elastic API 或熟悉的工具（例如 Kibana）与此工具包进行交互。
什么是 Elastic Learned Sparse Encoder？
Elastic Learned Sparse Encoder 是 Elastic 构建的模型，用于在各种领域中实现高相关性语义搜索。与传统的稠密向量表示相比，此文本扩展模型使用文本的稀疏向量表示。这意味着您无需为数据（或查询）生成嵌入，也无需针对您的领域微调模型。
该模型有助于捕获自然语言查询中的含义和意图，并且由于无需在您的数据上进行微调，因此它可以开箱即用。
什么是混合搜索？
混合搜索是向量搜索和词法搜索的组合。Elasticsearch 是词法搜索领域的行业领导者，自 2019 年以来，我们一直在投资向量搜索功能。Elastic 使您能够结合两者的优点。使用 RRF 为您的 Elastic 混合搜索策略提供支持。
什么是 RRF？
倒数排名融合 (RRF) 是一种先进的排名融合算法，用于组合来自多个信息检索系统的排名，而无需校准或微调。
使用 Elastic 8.9.0，您现在可以使用 检索器选项，将 ELSER 支持的语义搜索与经典的词法搜索相结合，从而实现混合搜索策略。
什么是向量数据库？
向量数据库由两个主要组件组成
- 嵌入存储和索引。嵌入是您的非结构化数据（文本、图像等）的向量表示。每个数据点都由一个数字数组（或向量）表示，并绘制（或嵌入）在高维数学空间中。简单来说，嵌入是指将您的数据转换为浮点数，其中相似的数据点彼此靠近。不同的模型使用不同的技术来生成嵌入，但原理是相同的：相似的数据点在向量空间中彼此靠近。
- 搜索算法。向量数据库使用搜索算法来查找给定查询的最近邻居。当用户发送查询时，将使用与训练数据相同的算法来嵌入查询文本。这可以实现快速的语义相似性搜索。由于这些值存在于连续体上，因此您可以找到语义相似的数据点，即使它们不共享相同的关键字。
请注意，传统的向量搜索使用数据的稠密向量表示，这与 Elastic Learned Sparse Encoder 模型的稀疏表示方法不同。
Elasticsearch 是向量数据库吗？
Elasticsearch 是一个向量数据库，而且功能更多！与纯向量数据库不同，Elastic 将您在一个平台中使用向量所需的所有组件结合在一起
-
嵌入存储。使用
dense_vector字段类型，在 Elasticsearch 中以本机方式存储和索引您的嵌入。 - 最近邻搜索。使用我们的推理 API，在您的数据集中高效搜索给定查询的最近邻居。
- 嵌入模型。在 Elastic 平台中为您的数据生成嵌入。
这种方法消除了进行外部 API 调用的效率低下和复杂性，这是纯向量数据库的局限性。
什么是 Transformer，Elastic Learned Sparse Encoder 是 Transformer 模型吗？
Transformer 是一种深度神经网络架构，它是 LLM 的基础。Transformer 由各种组件组成，可以由编码器、解码器和具有数百万（甚至数十亿）个参数的许多“深度”神经网络层组成。
通常在互联网上大型文本语料库等数据上进行训练，并且可以微调以执行各种 NLP 任务。我们新的检索模型使用 Transformer 架构，但由专门为在各种领域中进行语义搜索而设计的编码器组成。
如何开始使用 Elasticsearch 相关性引擎？我是否需要单独购买 Elasticsearch 相关性引擎？
Elasticsearch 相关性引擎的所有功能都随附 Elastic 企业搜索白金版和企业版计划。如果您拥有 Elasticsearch 许可证，则 Elasticsearch 相关性引擎包含在您的购买中。您可以开始使用 Kibana 搜索 UI 中的 ELSER 的文本扩展。
使用我们的 示例，获取如何使用语义搜索、混合搜索等构建自己的 AI 驱动的搜索应用程序的灵感。
什么是 Elastic AI Assistant？
Elastic AI Assistant 是我们第一个由 ESRE 提供支持的特定领域生成式 AI 应用程序。该助手在聊天界面中可用，用户可以使用自然语言提问并收到量身定制的答案。