搜索准确率提高 30%
通过添加 Elastic 的专有 ML 模型 ELSER，Consensus 用户搜索结果的准确性和相关性得到了显著提高。
搜索延迟缩短 75%
通过部署 Elastic 的 ELSER，语义搜索延迟已从几乎四秒减少到不到一秒。
为搜索创新提供路线图
Consensus 在 Elastic 中拥有长期的搜索合作伙伴，可以访问创新的语义、向量和 AI 驱动的搜索工具。
Consensus 是一个使用 AI 在研究论文中查找见解的搜索引擎。Consensus 2.0 根据用户的查询，从论文中提取与问题相关的信息。这使得结果更加灵活，并且与用户正在寻找的内容相关。
Consensus 通过新版本的搜索平台（采用 Elastic 的高级语义和文本搜索），为一百万用户转变学术研究。
Consensus 于 2022 年推出，是一个开创性的搜索引擎，它使用先进的人工智能 (AI) 和大型语言模型 (LLM)，从 Semantic Scholar 数据库中 2 亿多篇同行评审的论文中聚合和提炼见解。所有科学领域都涵盖在内，这使得 Consensus 成为医学、人类学、心理学和气候科学等不同领域研究人员的首选。
当应用程序首次推出时，它使用基于多种解决方案的推理管道，包括 Elastic Search 中的默认设置。Consensus 的 CPO Christian Salem 表示：“当时，我们是少数几家在搜索引擎之上使用 LLM 和 AI 摘要功能的公司之一。”
但是，一年在人工智能领域已经很长了。随着越来越多的公司进入 AI 搜索领域，在日益拥挤的市场中脱颖而出变得更加困难。为了在竞争中保持领先地位，Consensus 聘请了具有搜索引擎和 AI 专业知识的工程师，以提高搜索相关性和最终用户体验。Chris Varano 是 Consensus 的首席搜索工程师，在 Amazon Search 和 Google 拥有近十年的经验，他帮助领导了 ELSER 项目从头到尾的完成。
该团队最初认为向量搜索平台可以进行调整以提供更好的搜索性能，但很快发现它缺乏对数百万用户的生产级支持和许多有用的词汇功能。Varano 说：“我们本可以在内部构建这些功能，但对于一个在快速变化的市场中规模较小的团队来说，这是一个昂贵且耗时的选择。”
共识机制彻底改变了普通搜索的工作方式，提高了速度、精度，最重要的是核心搜索相关性。
两全其美：向量搜索和文本搜索
Consensus 团队转向了 Elastic 及其最近推出的名为 ELSER（Elastic Learned Sparse Encoder，Elastic学习稀疏编码器）的功能。这种由 Elastic 训练的新检索模型，使企业除了精确的关键字匹配外，还能够根据上下文含义和用户意图执行语义搜索。“我们获得了与向量人工智能搜索相关的所有优势，同时保留了传统关键字搜索功能的优点，”Varano 说。
随着由 ELSER 驱动的 Consensus 2.0 的发布，最终用户受益于更高的搜索准确性和新的生成式人工智能功能，这些功能提供了顶部结果的摘要。该软件获取搜索查询，并在所有论文的摘要和标题上运行关键字搜索和向量搜索的组合。这为 Consensus 提供了一种智能方法来衡量文档与用户查询的相关性。
然后，将此相关性分数与许多其他元数据（包括引文计数、引文速度和发布日期）结合在一起，对结果进行重新排序，并生成前 20 个可能的结果。然后，Consensus 软件在排名前 10 的结果上运行 OpenAI 的 GPT-4 模型，以生成对顶级研究的一句话摘要。
作为 ELSER 的最早用户之一，Consensus 团队与 Elastic 进行了密切合作。“一旦我们让它开始工作，它真的超出了我们的预期。它远远超过了我们之前做的所有其他向量搜索测试，”Varano 说。
该团队还强调了 Elastic 的开箱即用功能的重要性，包括词汇特征、精确短语匹配以及一般的关键字搜索。过滤、术语排除和模糊匹配也发挥了重要作用。
“我惊讶于 Elastic 开箱即用的功能如此之多。有如此多的工具和功能可以改善我们用户的体验，而我们不必自己构建。”
ELSER 和 Elastic 还为 Consensus 的检索增强生成 (RAG) 工作流程提供底层支持，其中 Elastic 搜索结果构成了 ChatGPT 生成摘要的基础。“有了 Elastic 和 ELSER，我们对搜索质量非常有信心，而且在生成摘要时，我们的人工智能层出现幻觉的风险很小或没有，”Salem 说。
Consensus 最初选择 Elastic 也是因为它非常适合其在 Google Cloud 上托管的基础架构和应用程序。“我们选择 Elastic 的原因之一是它很容易与 Google Cloud 集成。两者都具有高度的可配置性，我们仍然感觉可以完全控制基础架构，”Salem 说。
Consensus 利用人工智能的最新进展来普及科学见解，并创建一个平台，该平台既可以成为学生出色的研究网站，也可以帮助将经过适当来源的、同行评审的信息带到酒吧辩论和家庭群聊中。
更快、更智能的搜索
随着由 ELSER 提供支持的 Consensus 2.0 的发布，最终用户在搜索相关性方面有了显著的改进，可以从论文中提取特定于问题的信息，并提供顶级结果的 AI 生成摘要。搜索速度也更快了，新版本的平均语义搜索时间从几乎 4 秒缩短到不到 1 秒。“Elastic 是我们领域的一大差异化因素。我们不仅仅是在别人数据之上建立的一个简单的人工智能包装器，我们拥有搜索引擎，并且在上面添加人工智能功能，”Salem 说。
数字说明了一切。自发布以来，Consensus 生成对最终用户有用的结果的查询数量增加了 30%。Salem 还收到了用户的积极反馈，他们喜欢能够使用更灵活的查询。“他们不必使用与论文完全相同的术语。同义词和口语化的术语也会返回相关的结果，”Salem 说。
对小型团队的大力支持
作为一个只有大约 8 名员工的初创公司，Elastic 的支持对 Consensus 至关重要。Salem 说：“我们的 Elastic 客户主管将她的工程师和专家聚集在这个项目周围。双方都将其视为使用最新人工智能技术构建新型搜索引擎的机会。”
“我确信 Elastic 有许多比我们初创团队更大的客户，但感觉并非如此。我们的项目感觉像是 Elastic 团队的真正优先事项，而其他供应商并非总是如此。”
通向未来的 AI 路线图
虽然仍处于早期阶段，但 Salem 和 Consensus 团队的其他成员都期待着未来 Elastic AI 的发布，特别是未来可以与 ELSER 结合使用的向量搜索功能。“Elastic 正在全速推进由 AI 和 LLM 驱动的搜索。它们是一个伟大的合作伙伴，因为它们让我们始终处于该技术可能实现的顶峰，”Salem 说。
Elastic 还使 Consensus 能够在竞争激烈的人工智能搜索领域保持优势。Salem 现在希望扩展到学术研究之外，并纳入同行评审期刊之外的高质量数据集和专家知识。“我们生活在一个比以往任何时候都更需要直接来自来源的准确、精确信息的时代。在我们扩大搜索范围以期满足这一需求时，Elastic 是一个至关重要的合作伙伴，”Salem 说。
