什么是信息检索？

探索 IR 升级

信息检索定义

信息检索 (IR) 是一种促进从大型非结构化或半结构化数据集合中有效且高效地检索相关信息的流程。 IR 系统有助于搜索、定位和呈现与用户搜索查询或信息需求匹配的信息。

作为信息访问的主要形式，信息检索每天被数十亿人使用，他们使用搜索引擎。信息检索系统部署各种模型、算法和越来越先进的技术（例如：向量搜索），使搜索能够访问大量不断增长的来源，包括文档、文档中的项目、元数据以及文本、图像、视频和声音的数据库。

信息检索简史

信息检索的起源可以追溯到古代，当时人们建立了图书馆和档案馆来组织和存储信息，包括对学术作品进行索引和字母排序。到 19 世纪，打孔卡被用于处理信息，1931 年，Emanuel Goldberg 获得了第一台成功的机电文档检索设备的专利，被称为“统计机器”，专为搜索编码在胶片上的数据而设计。

信息检索开始在 20 世纪中叶逐渐发展成为一门科学学科，与现代计算机的发展同步。Gerard Salton 和 Hans Peter Luhn 开创了早期自动文档检索模型。Salton 和他在康奈尔的同事在 1960 年代创建了 SMART 信息检索系统，这是该领域的一个里程碑，被认为为现代 IR 技术和关键概念奠定了基础，包括词项-文档矩阵、向量空间模型、相关性反馈和 Rocchio 分类。

到 1970 年代，随着更先进的检索技术、概率模型和完全阐明的向量处理框架的出现，该领域取得了重大进展。随着 1990 年代后期搜索引擎的出现，曾经主要属于学术界、机构和图书馆的 IR 系统和模型被广泛使用。

信息检索模型类型

不同类型的信息检索模型旨在解决特定挑战并建立流程以检索相关信息。有一些经典模型构成了该领域的基础，非经典模型试图解决传统方法的局限性，而替代 IR 模型则更进一步，通常通过集成机器学习和语言模型等先进技术。在一般层面上，最常见的信息检索模型类型包括

布尔模型
布尔模型是最简单和最早的信息检索模型之一，它基于布尔逻辑，使用 AND、OR 和 NOT 等运算符来组合查询词项。文档被表示为词项集，查询被处理以识别与指定条件匹配的文档。虽然它对于精确的查询匹配非常有效，但布尔模型无法根据相关性对文档进行排名，也无法提供部分匹配。

向量空间模型
在这个模型中，文档和查询被表示为多维空间中的向量。每个维度对应一个唯一的词项，每个维度中的值表示词项在文档或查询中的重要性和频率。计算查询向量和文档向量之间的余弦相似度，以确定文档与查询的相关性。向量空间模型是为了解决布尔模型的缺点而开发的，它可以根据相关性分数提供排名结果，并且广泛用于文本检索。

概率模型
该模型估计文档与给定查询相关的概率。它考虑词项频率和文档长度等因素来计算相关性概率。它特别适用于处理大量数据。由于它使用加权统计数据，因此该模型非常适合提供排名结果。

潜在语义索引 (LSI)
LSI 使用奇异值分解 (SVD) 来捕获词项和文档之间的语义关系。与语义搜索类似，语义索引使用意图和上下文来识别概念上相关的文档，即使它们不共享相同的词项。这种关键功能使 LSI 能够提取文本主体中词语的上下文含义。

Okapi BM25
BM25 是概率模型中最流行的变体之一，它是一种 搜索相关性 排名函数。它被搜索引擎用来估计文档与搜索查询的相关性。它根据每个文档中出现的查询词对一组文档进行排名，而不管文档中词语之间的相互关系，并且包含许多具有不同组件和参数的评分函数。BM 代表“最佳匹配”。

为什么信息检索很重要？

在信息时代，数据以以前无法想象的规模每秒生成。如果没有可行的获取信息的方法，数据实际上就毫无用处。IR 系统确保用户能够在信息过载的日益增长的噪音中获得他们需要的信息。

信息检索在现代世界几乎所有行业和领域都发挥着至关重要的作用，从学术界和电子商务到医疗保健和国防。它是一种人机界面，有助于企业和个人层面的决策、研究和知识发现。从搜索本地桌面到发现世界新闻，从基因组研究到垃圾邮件过滤，信息检索几乎是我们生活中各个方面的基础。

搜索引擎依靠信息检索模型来提供准确的搜索结果。电子商务平台使用检索模型根据用户偏好和行为推荐产品。数字图书馆依靠信息检索科学来帮助用户进行研究。在医疗保健领域，IR 系统有助于搜索数据库以获取相关的患者记录、医学研究和治疗方案。法律专业人士使用信息检索来梳理大量法律案件以寻找先例。

信息检索系统是如何工作的？

信息检索过程通常由用户将正式查询输入系统以说明其信息需求来触发。IR 系统会为内容集合或信息数据库中的文档创建索引。包括来自文本文档、图像、音频和视频的数据对象被处理以提取相关术语和代理数据，并且数据结构用于有效地存储和检索这些实体。

当用户提交查询时，系统会处理查询以识别相关术语并确定其重要性。然后，系统根据文档与查询的相关性对文档进行排名。在许多情况下，IR 模型和算法用于根据集合或数据库中每个对象与查询的匹配程度来计算数值分数。许多查询不会完全匹配：最相关的文档将以排名列表的形式呈现给用户。这些排名结果代表了信息检索搜索和数据库搜索之间的关键区别之一。

信息检索系统的主要组成部分

信息检索系统包含几个关键组件

文档集合
系统可以从中检索信息的文档集。

索引组件
源数据和文档被处理以创建 索引，将术语和数据映射到包含它们的文档 - 通常在专用、优化的数据结构中。

查询处理器
查询处理器分析用户查询和关键字，并为其准备与索引实体匹配。

排名算法
排名算法确定文档与查询的相关性并为其分配分数。最常见的是 BM25（最佳匹配 25）排名算法，它以其修改后的词频方法而闻名，该方法避免了关键字和重复词语对文档的过度饱和。

用户界面
UI 是用户与系统交互、提交查询和呈现结果的显示方式。在这里，结果可以根据它们对用户查询的有效性进行调整。在某些情况下，机制可能允许用户提供对检索到的文档相关性的反馈，这可以用来改进未来的检索。

信息检索的优势

信息检索模型的显著优势包括

  • 高效的信息访问：最重要的是，IR 系统为人们节省了无数的时间和精力。信息检索使用户能够快速访问相关信息，而无需手动搜索大量文档和数据。
  • 知识发现：信息检索是一种强大的工具，它使我们能够理解数据。借助 IR，用户可以识别数据中可能最初不明显的趋势、模式和关系。
  • 个性化：一些 IR 系统可以根据用户的偏好和行为以有意义的方式为单个用户定制结果。
  • 决策支持：专业人员能够在需要时获得最相关的信息，从而做出明智的决策。

信息检索的挑战和局限性

尽管取得了重大进展，但信息检索从未完美。已知的问题、挑战和局限性仍然存在，包括

歧义 自然语言本质上是模棱两可的，这使得准确解释用户查询具有挑战性。类似的模糊性和不确定性问题会影响索引和评估过程，特别是对于图像和视频等对象。

相关性 确定相关性是主观的，并且会根据用户上下文和意图而有所不同。用于确定价值和重要性的标准可能受一套不完善的通用标准支配，这些标准不反映单个用户的特定需求。

语义差距 检索系统由于文本表示和人类理解之间的差距，难以捕捉内容的更深层含义。信息和用户表达的缺乏清晰度是成功 IR 的主要障碍。由 AI 提供支持的先进 自然语言处理 试图弥合这些语义和歧义差距。

可扩展性 随着数据量的增加，维护高效和有效的检索和索引变得更加复杂，需要更多资源和计算能力。

使用 Elasticsearch 进行信息检索

Elastic 致力于不断改进 Elastic Stack 中可用的信息检索功能。我们最新的检索模型 Elastic Learned Sparse Encoder 使用预训练的语言模型增强了 Elastic 的开箱即用检索。为了实现真正的单点击体验，我们将其与新的 Elasticsearch Relevance Engine 集成在一起。

Elasticsearch 还具有出色的词汇检索功能和丰富的工具，用于组合不同查询的结果，这被称为 混合检索。我们还通过 NLP 和 向量搜索 增强聊天机器人功能，发布 第三方自然语言处理模型 用于文本嵌入，并使用 BEIR 的子集 评估我们的性能。

探索更多信息检索资源

您接下来应该做什么

无论您何时准备好... 以下四种方法可以帮助您利用企业数据的洞察力

  1. 开始免费试用，了解 Elastic 如何帮助您的企业。
  2. 浏览我们的解决方案，了解 Elasticsearch 平台的工作原理以及它们如何满足您的需求。
  3. 了解如何在企业中交付生成式 AI.
  4. 与您认识的可能喜欢阅读本文的人分享。通过电子邮件、LinkedIn、Twitter 或 Facebook 与他们分享。