十年来，开发人员一直使用 Elasticsearch 构建搜索体验。在今年的 Microsoft Build 大会上，我们宣布推出 Elasticsearch Relevance Engine ——一套工具，使开发人员能够构建 AI 驱动的搜索应用程序。随着生成式 AI、大型语言模型 (LLM) 和向量搜索功能越来越受到关注，我们很高兴能够扩展我们的工具范围，并帮助我们的客户构建下一代搜索应用程序。
下一代搜索体验的一个示例来自 Relativity——一家电子取证和法律搜索技术公司。在 Build 大会上，我们与 Relativity 团队分享了舞台，他们讲述了他们如何使用 Elasticsearch 和 Microsoft Azure。您可以在他们的 博客 上阅读 Relativity 对 Build 的报道。
这篇博文探讨了 Relativity 如何利用 Elasticsearch 和 Azure OpenAI 构建未来的搜索体验。它还考察了 AI 驱动的搜索体验的关键组成部分以及需要牢记的重要架构考虑因素。
关于 Relativity
Relativity 是 RelativityOne 背后的公司，后者是一款领先的基于云的电子取证软件解决方案。Relativity 与 Microsoft 合作，为数百家组织创新并交付其解决方案，帮助他们管理、搜索和处理大量异构数据。RelativityOne 因其全球影响力而受到业界的尊重，它由 Microsoft Azure 基础设施和许多其他 Microsoft Azure 服务（例如认知服务翻译器）提供支持。
RelativityOne 产品在构建时就考虑到了可扩展性。典型的用例涉及摄取为法律电子取证提供的海量数据。这些数据通过搜索界面呈现给法律团队。为了能够进行高质量的法律调查，搜索体验必须始终返回高度准确和相关的结果。Elasticsearch 符合这些要求，并且是关键的基础技术。
生成式 AI 时代的电子取证
Relativity 的高级产品经理 Brittany Roush 表示：“Relativity 客户目前面临的最大挑战是来自异构数据源的数据爆炸。来自不同通信方式生成的数据差异确实加剧了这一挑战。” 数据、来源和复杂性的这种爆炸使得传统的关键词搜索方法变得无效。借助 Elasticsearch Relevance Engine (ESRE)，Relativity 看到了提供超越关键词搜索和基本概念搜索的搜索体验的潜力。ESRE 提供了一个机会，可以将搜索本地化到案例数据。Relativity 希望通过 AI 功能（如 GPT-4、Signals、Classifications 及其内部 AI 解决方案）增强搜索体验。
在 Microsoft Build 上的这次演讲 中，Roush 分享了 Relativity 对未来搜索的愿景中的一些关键挑战。随着数据呈指数级增长，以及调查人员必须搜索文档、图像和视频记录，传统的关键词搜索方法可能会达到其极限。隐私和机密性是法律发现过程中的关键因素。此外，能够像进行自然对话一样进行搜索并利用 LLM 也是团队设想未来搜索时所有重要的因素。
为了将未来电子取证搜索的愿景变为现实，Relativity 依靠 Elasticsearch，因为它在规模方面的良好记录、管理结构化和非结构化数据源的能力以及在搜索和混合评分方面的领导地位。ESRE 提供了一个机会，可以将搜索本地化到案例数据。
Elasticsearch 与 AI 搜索体验的未来
借助 Elasticsearch Relevance Engine，开发人员可以获得完整的向量数据库、管理多个机器学习模型或 Elastic 的 Learned Sparse Encoder（ESRE 附带）以及大量数据摄取功能。Roush 补充道：“借助 ESRE 和 Azure OpenAI 驱动的搜索体验，我们的目标是将客户在调查中可能需要数月才能完成的工作缩短至数小时。”
AI 驱动的搜索体验的组件
**自然语言处理 (NLP)** NLP 提供了使用人类语言或口语意图与搜索界面交互的能力。搜索引擎必须识别意图并将其与数据记录匹配。例如，将“副业”匹配为表示第二份工作。
**向量数据库** 这是一种将数据存储为数值表示（或向量嵌入）的数据库，这些数值表示跨越可能跨越多个维度的向量空间。每个维度可能是用于描述搜索文档的特征或属性的数学表示。
**向量搜索** 向量空间是搜索文档作为数字的数学表示。传统搜索依赖于关键词的位置、频率和词汇相似性。向量搜索引擎使用向量之间的数值距离来表示相似性。
**模型灵活性和 LLM 集成** 在这个快速发展的领域，对公共和专有机器学习模型的支持以及切换模型的能力使客户能够跟上创新的步伐。
AI 驱动的搜索体验的架构注意事项
为了构建能够理解自然语言搜索提示、将基础数据存储为向量并利用大型语言模型呈现上下文相关响应的搜索体验，可以使用如下所示的方法
为了实现目标，例如构建利用像 OpenAI 这样的 LLM 的下一代电子取证搜索，用户应考虑以下因素
成本
LLM 可能需要大规模资源，并且在公共数据集上进行训练。Elasticsearch 通过传递上下文窗口来帮助客户引入其私有数据并与 LLM 集成，从而控制成本。
规模和灵活性
Elasticsearch 是一个经过验证的 PB 级 规模 数据存储和向量数据库。AI 搜索体验由数据提供支持。能够从各种私有数据源中摄取数据是平台为解决方案提供支持的基本条件。Elasticsearch 作为数据存储库，经过多年的优化，可以托管 众多数据类型，包括存储向量。
大多数 AI 驱动的搜索体验将受益于检索的灵活性：关键词搜索、向量搜索以及提供混合排名的能力。Elastic 8.8 在技术预览版中引入了 Elastic Learned Sparse Encoder。这是一个由 Elastic 训练和优化的语义搜索模型，可开箱即用地提供卓越的相关性。我们的模型为向量和混合搜索方法提供了卓越的性能，部分工作记录在 这篇博文 中。Elastic 还支持各种 第三方 NLP 变压器模型，使您能够添加可能已为您的用例训练的 NLP 模型。
隐私和安全性
Elasticsearch 可以帮助用户通过仅与 LLM 服务共享相关上下文来限制对特定领域数据的访问。结合 Microsoft 对 Azure OpenAPI 服务 数据、隐私和安全 的企业级关注，像 Relativity 这样的用户可以推出利用基于专有数据的生成式 AI 构建的搜索体验。
对于 Elasticsearch 中托管的私有数据，应用基于角色的访问控制将通过配置角色和相应的访问级别来帮助保护敏感数据。Elasticsearch 提供了诸如 文档级 和 字段级 安全性等安全选项，可以根据特定领域的数据敏感性要求限制访问。
Elasticsearch 服务 秉持安全至上的理念构建，并经过独立审计和认证，以满足行业的合规性标准，例如 PCI DSS、SOC2 和 HIPAA 等。
行业特定考虑因素：合规性、隔离网络、私有云
Elastic 可以满足用户在任何环境下的需求，无论是公有云、私有云、本地部署还是隔离网络环境。为了获得隐私优先的 LLM 体验，用户可以将专有的Transformer 模型 部署到隔离网络环境中。
您将使用 Elastic 和生成式 AI 构建什么？
我们对 Relativity 等客户正在构建的体验感到兴奋。过去几年搜索领域发展非常迅速，但随着生成式 AI 功能的快速采用，我们迫不及待地想看看开发人员将使用 Elastic 的工具创造什么。如果您想尝试此处提到的某些功能，我们推荐以下资源
- 演示视频：利用机器学习和 Elasticsearch 实现最先进的数据检索
- 博文：如何部署 NLP：文本嵌入和向量搜索
- 宣布推出Elasticsearch 相关性引擎：面向开发人员的 AI 搜索工具 立即注册 Elastic云试用版，开始体验！
本文中描述的任何功能或功能的发布和时间安排完全由 Elastic 自行决定。任何当前不可用的功能或功能可能无法按时或根本无法交付。
在本博文中，我们可能使用了第三方生成式 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权，我们对其内容、运营或使用，以及您使用此类工具可能产生的任何损失或损害不承担任何责任。使用 AI 工具处理个人、敏感或机密信息时，请务必谨慎。您提交的任何数据都可能用于 AI 训练或其他目的。无法保证您提供的信息将得到安全或保密处理。在使用任何生成式 AI 工具之前，您应该熟悉其隐私实践和使用条款。
Elastic、Elasticsearch 和相关标记是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称是其各自所有者的商标、徽标或注册商标。
Elasticsearch 与业界领先的 Gen AI 工具和提供商具有原生集成。查看我们关于超越 RAG 基础知识的网络研讨会Beyond RAG Basics，或构建生产就绪型应用程序的网络研讨会Elastic Vector Database。
相关内容
使用 Azure OpenAI 服务在您的数据上进行联合 SharePoint 搜索
使用 Azure OpenAI 服务在您的数据上，并将 Elastic 作为向量数据库。
零售行业的对话式搜索体验：Elasticsearch 相关性引擎与 Google Cloud 的生成式 AI
本博文介绍了一种使用 Vertex AI 和 Elasticsearch 的生成式 AI 为零售商打造的新型搜索体验。
使用 Elasticsearch 作为向量数据库，向您的 GitHub 存储库提问
本博文介绍了一个使用 Elasticsearch 和 RAG 的 GitHub 助手，以实现语义代码查询，提供对 GitHub 存储库的洞察，可以扩展到 PR 反馈、问题处理和生产就绪性审查。
使用 Vertex AI 和 Elasticsearch 释放 RAG 数据的强大功能
使用 Vertex AI 和 Elasticsearch 释放数据的潜能。本博文系列介绍了将数据摄取到 Elasticsearch 中，以构建强大的知识库，从而创建基于 RAG 的高级搜索应用程序。