› › ›

规范化令牌过滤器

规范化令牌过滤器编辑

有几个可用的令牌过滤器试图规范化特定语言的特殊字符。

阿拉伯语	`arabic_normalization`
德语	`german_normalization`
印地语	`hindi_normalization`
印度语	`indic_normalization`
库尔德语（索拉尼语）	`sorani_normalization`
波斯语	`persian_normalization`
斯堪的纳维亚语	`scandinavian_normalization`, `scandinavian_folding`
塞尔维亚语	`serbian_normalization`