ICU 规范化 Token 过滤器

编辑

根据此处说明对字符进行规范化。它将自身注册为 icu_normalizer Token 过滤器,无需任何其他配置即可用于所有索引。规范化类型可以通过 name 参数指定,该参数接受 nfcnfkcnfkc_cf(默认值)。

可以通过指定 unicode_set_filter 参数来控制哪些字母被规范化,该参数接受一个UnicodeSet

您可能更倾向于使用规范化字符过滤器

以下提供两个示例,分别是默认用法和自定义 Token 过滤器

PUT icu_sample
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "nfkc_cf_normalized": { 
            "tokenizer": "icu_tokenizer",
            "filter": [
              "icu_normalizer"
            ]
          },
          "nfc_normalized": { 
            "tokenizer": "icu_tokenizer",
            "filter": [
              "nfc_normalizer"
            ]
          }
        },
        "filter": {
          "nfc_normalizer": {
            "type": "icu_normalizer",
            "name": "nfc"
          }
        }
      }
    }
  }
}

使用默认的 nfkc_cf 规范化。

使用自定义的 nfc_normalizer Token 过滤器,该过滤器设置为使用 nfc 规范化。