› › ›

规范化词元过滤器

有几种词元过滤器可用于尝试规范化特定语言的特殊字符。

阿拉伯语	`arabic_normalization`
德语	`german_normalization`
印地语	`hindi_normalization`
印度语	`indic_normalization`
库尔德语（索拉尼）	`sorani_normalization`
波斯语	`persian_normalization`
斯堪的纳维亚语	`scandinavian_normalization`, `scandinavian_folding`
塞尔维亚语	`serbian_normalization`