字典分解词元过滤器
编辑字典分解词元过滤器编辑
在大多数情况下，我们建议使用更快的 hyphenation_decompounder 词元过滤器来代替此过滤器。但是，您可以使用 dictionary_decompounder 过滤器来检查词表在 hyphenation_decompounder 过滤器中实现之前的质量。
使用指定的词表和暴力方法在复合词中查找子词。如果找到，这些子词将包含在词元输出中。
此过滤器使用 Lucene 的 DictionaryCompoundWordTokenFilter，它专为日耳曼语设计。
示例编辑
以下 分析 API 请求使用 dictionary_decompounder 过滤器在 Donaudampfschiff 中查找子词。然后，过滤器会将这些子词与指定的词表进行比较：Donau、dampf、meer 和 schiff。
response = client.indices.analyze(
body: {
tokenizer: 'standard',
filter: [
{
type: 'dictionary_decompounder',
word_list: [
'Donau',
'dampf',
'meer',
'schiff'
]
}
],
text: 'Donaudampfschiff'
}
)
puts response
GET _analyze
{
"tokenizer": "standard",
"filter": [
{
"type": "dictionary_decompounder",
"word_list": ["Donau", "dampf", "meer", "schiff"]
}
],
"text": "Donaudampfschiff"
}
过滤器生成以下词元
[ Donaudampfschiff, Donau, dampf, schiff ]
可配置参数编辑
-
word_list -
(必需*，字符串数组) 在词元流中查找的子词列表。如果找到，子词将包含在词元输出中。
必须指定此参数或
word_list_path。 -
word_list_path -
(必需*，字符串) 包含要在词元流中查找的子词列表的文件路径。如果找到，子词将包含在词元输出中。
此路径必须是相对于
config位置的绝对路径或相对路径，并且文件必须是 UTF-8 编码的。文件中每个词元必须用换行符分隔。必须指定此参数或
word_list。 -
max_subword_size - (可选，整数) 最大子词字符长度。更长的子词词元将从输出中排除。默认值为
15。 -
min_subword_size - (可选，整数) 最小子词字符长度。更短的子词词元将从输出中排除。默认值为
2。 -
min_word_size - (可选，整数) 最小词字符长度。更短的词词元将从输出中排除。默认值为
5。 -
only_longest_match - (可选，布尔值) 如果为
true，则仅包含最长的匹配子词。默认值为false。
自定义和添加到分析器编辑
要自定义 dictionary_decompounder 过滤器，请复制它以创建新自定义词元过滤器的基础。您可以使用其可配置参数修改过滤器。
例如，以下 创建索引 API 请求使用自定义 dictionary_decompounder 过滤器来配置新的 自定义分析器。
自定义 dictionary_decompounder 过滤器在 analysis/example_word_list.txt 文件中查找子词。长度超过 22 个字符的子词将从词元输出中排除。
PUT dictionary_decompound_example
{
"settings": {
"analysis": {
"analyzer": {
"standard_dictionary_decompound": {
"tokenizer": "standard",
"filter": [ "22_char_dictionary_decompound" ]
}
},
"filter": {
"22_char_dictionary_decompound": {
"type": "dictionary_decompounder",
"word_list_path": "analysis/example_word_list.txt",
"max_subword_size": 22
}
}
}
}
}