ICU 规范化词元过滤器

编辑

按照此处所述的方式规范化字符。它将自身注册为 icu_normalizer 词元过滤器,该过滤器可用于所有索引,无需任何进一步配置。可以通过 name 参数指定规范化类型,该参数接受 nfcnfkcnfkc_cf(默认)。

可以通过指定 unicode_set_filter 参数来控制规范化哪些字母,该参数接受 UnicodeSet

您可能应该更倾向于使用规范化字符过滤器

以下是两个示例,默认用法和一个自定义的词元过滤器

PUT icu_sample
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "nfkc_cf_normalized": { 
            "tokenizer": "icu_tokenizer",
            "filter": [
              "icu_normalizer"
            ]
          },
          "nfc_normalized": { 
            "tokenizer": "icu_tokenizer",
            "filter": [
              "nfc_normalizer"
            ]
          }
        },
        "filter": {
          "nfc_normalizer": {
            "type": "icu_normalizer",
            "name": "nfc"
          }
        }
      }
    }
  }
}

使用默认的 nfkc_cf 规范化。

使用自定义的 nfc_normalizer 词元过滤器,该过滤器设置为使用 nfc 规范化。