使用同义词搜索编辑

同义词是指具有相同或相似含义的词语或短语。它们是搜索的重要方面,因为它们可以改善搜索体验并扩大搜索结果的范围。

同义词允许您

  • 提高搜索相关性,通过查找使用不同术语表达相同概念的相关文档。
  • 使 特定领域词汇 更易于用户使用,允许用户使用他们更熟悉的搜索词。
  • 定义常见的拼写错误和错别字,以透明地处理常见的错误。

同义词使用 同义词集 分组在一起。您可以根据需要创建任意数量的同义词集。

为了在 Elasticsearch 中使用同义词集,您需要

存储您的同义词集编辑

您的同义词集需要存储在 Elasticsearch 中,以便您的分析器可以引用它们。有三种方法可以存储您的同义词集

同义词 API编辑

您可以使用 同义词 API 来管理同义词集。这是最灵活的方法,因为它允许动态定义和修改同义词集。

同义词集中的更改将自动重新加载关联的分析器。

同义词文件编辑

您可以将同义词集存储在文件中。

同义词集文件需要上传到所有集群节点,并位于 Elasticsearch 发行版的配置目录中。如果您使用的是 Elasticsearch 服务,您可以使用 自定义捆绑包 上传同义词文件。

同义词文件示例

# Blank lines and lines starting with pound are comments.

# Explicit mappings match any token sequence on the left hand side of "=>"
# and replace with all alternatives on the right hand side.
# These types of mappings ignore the expand parameter in the schema.
# Examples:
i-pod, i pod => ipod
sea biscuit, sea biscit => seabiscuit

# Equivalent synonyms may be separated with commas and give
# no explicit mapping.  In this case the mapping behavior will
# be taken from the expand parameter in the token filter configuration.
# This allows the same synonym file to be used in different synonym handling strategies.
# Examples:
ipod, i-pod, i pod
foozball , foosball
universe , cosmos
lol, laughing out loud

# If expand==true in the synonym token filter configuration,
# "ipod, i-pod, i pod" is equivalent to the explicit mapping:
ipod, i-pod, i pod => ipod, i-pod, i pod
# If expand==false, "ipod, i-pod, i pod" is equivalent
# to the explicit mapping:
ipod, i-pod, i pod => ipod

# Multiple synonym mapping entries are merged.
foo => foo bar
foo => baz
# is equivalent to
foo => foo bar, baz

要更新现有的同义词集,请将新文件上传到您的集群。同义词集文件必须在每个集群节点上保持同步。

当同义词集更新时,使用它的搜索分析器需要使用 重新加载搜索分析器 API 刷新。

这种手动同步和重新加载使这种方法不如使用 同义词 API 灵活。

内联编辑

您可以通过直接在标记过滤器定义中添加同义词来测试您的同义词。

不建议在生产环境中使用内联同义词。大量内联同义词会不必要地增加集群大小,并可能导致性能问题。

配置同义词标记过滤器和分析器编辑

创建同义词集后,您可以开始配置标记过滤器和分析器以使用它们。

同义词集必须存在才能添加到索引中。如果创建的索引引用了不存在的同义词集,则索引将保持部分创建状态且无法使用。从这种情况恢复的唯一方法是确保同义词集存在,然后删除并重新创建索引,或者关闭并重新打开索引。

Elasticsearch 在 分析过程 中使用同义词。您可以使用两种类型的 标记过滤器 来包含同义词

  • 同义词图:建议使用它,因为它可以正确处理多词同义词(“匆忙地”,“匆忙”)。
  • 同义词:如果您需要使用多词同义词,则不建议使用。

检查每个同义词标记过滤器的文档以获取配置详细信息以及将其添加到分析器的说明。

测试您的分析器编辑

您可以在不修改索引设置的情况下测试分析器配置。使用 分析 API 测试您的分析器链

response = client.indices.analyze(
  body: {
    tokenizer: 'standard',
    filter: [
      'lowercase',
      {
        type: 'synonym_graph',
        synonyms: [
          'pc => personal computer',
          'computer, pc, laptop'
        ]
      }
    ],
    text: 'Check how PC synonyms work'
  }
)
puts response
GET /_analyze
{
  "tokenizer": "standard",
  "filter" : [
    "lowercase",
    {
      "type": "synonym_graph",
      "synonyms": ["pc => personal computer", "computer, pc, laptop"]
    }
  ],
  "text" : "Check how PC synonyms work"
}

在索引或搜索时应用同义词编辑

分析器可以在 索引时或搜索时 应用。

您需要决定何时应用同义词

  • 索引时:同义词在将文档索引到 Elasticsearch 时应用。这是一种不太灵活的替代方案,因为同义词的更改需要 重新索引
  • 搜索时:同义词在执行搜索时应用。这是一种更灵活的方法,不需要重新索引。如果标记过滤器配置了 "updateable": true,则当您对同义词进行更改时,可以 重新加载 搜索分析器。

使用 同义词 API 创建的同义词集只能在搜索时使用。

您可以将包含同义词集的分析器指定为 搜索时分析器索引时分析器

以下示例将 my_analyzer 作为搜索分析器添加到索引映射中的 title 字段

  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "search_analyzer": "my_analyzer",
        "updateable": true
      }
    }
  }