字典分解器词元过滤器
编辑字典分解器词元过滤器
编辑在大多数情况下，我们建议使用更快的 hyphenation_decompounder 词元过滤器来代替此过滤器。但是，您可以使用 dictionary_decompounder 过滤器来检查单词列表的质量，然后再在 hyphenation_decompounder 过滤器中实现它。
使用指定的单词列表和强力方法在复合词中查找子词。如果找到，这些子词将包含在词元输出中。
此过滤器使用 Lucene 的 DictionaryCompoundWordTokenFilter，它是为日耳曼语系语言构建的。
示例
编辑以下 analyze API 请求使用 dictionary_decompounder 过滤器在 Donaudampfschiff 中查找子词。然后，过滤器将这些子词与指定的单词列表进行比较：Donau、dampf、meer 和 schiff。
resp = client.indices.analyze(
tokenizer="standard",
filter=[
{
"type": "dictionary_decompounder",
"word_list": [
"Donau",
"dampf",
"meer",
"schiff"
]
}
],
text="Donaudampfschiff",
)
print(resp)
response = client.indices.analyze(
body: {
tokenizer: 'standard',
filter: [
{
type: 'dictionary_decompounder',
word_list: [
'Donau',
'dampf',
'meer',
'schiff'
]
}
],
text: 'Donaudampfschiff'
}
)
puts response
const response = await client.indices.analyze({
tokenizer: "standard",
filter: [
{
type: "dictionary_decompounder",
word_list: ["Donau", "dampf", "meer", "schiff"],
},
],
text: "Donaudampfschiff",
});
console.log(response);
GET _analyze
{
"tokenizer": "standard",
"filter": [
{
"type": "dictionary_decompounder",
"word_list": ["Donau", "dampf", "meer", "schiff"]
}
],
"text": "Donaudampfschiff"
}
过滤器产生以下词元
[ Donaudampfschiff, Donau, dampf, schiff ]
可配置参数
编辑-
word_list -
（必需*，字符串数组）要在词元流中查找的子词列表。如果找到，则该子词包含在词元输出中。
必须指定此参数或
word_list_path。 -
word_list_path -
（必需*，字符串）包含要在词元流中查找的子词列表的文件的路径。如果找到，则该子词包含在词元输出中。
此路径必须是绝对路径或相对于
config位置的路径，并且该文件必须是 UTF-8 编码的。文件中的每个词元必须用换行符分隔。必须指定此参数或
word_list。 -
max_subword_size - （可选，整数）最大子词字符长度。较长的子词词元将从输出中排除。默认为
15。 -
min_subword_size - （可选，整数）最小子词字符长度。较短的子词词元将从输出中排除。默认为
2。 -
min_word_size - （可选，整数）最小单词字符长度。较短的单词词元将从输出中排除。默认为
5。 -
only_longest_match - （可选，布尔值）如果为
true，则仅包含最长的匹配子词。默认为false。
自定义并添加到分析器
编辑要自定义 dictionary_decompounder 过滤器，请复制它以创建新的自定义词元过滤器的基础。您可以使用其可配置参数修改过滤器。
例如，以下 create index API 请求使用自定义 dictionary_decompounder 过滤器来配置新的自定义分析器。
自定义 dictionary_decompounder 过滤器在 analysis/example_word_list.txt 文件中查找子词。长度超过 22 个字符的子词将从词元输出中排除。
resp = client.indices.create(
index="dictionary_decompound_example",
settings={
"analysis": {
"analyzer": {
"standard_dictionary_decompound": {
"tokenizer": "standard",
"filter": [
"22_char_dictionary_decompound"
]
}
},
"filter": {
"22_char_dictionary_decompound": {
"type": "dictionary_decompounder",
"word_list_path": "analysis/example_word_list.txt",
"max_subword_size": 22
}
}
}
},
)
print(resp)
const response = await client.indices.create({
index: "dictionary_decompound_example",
settings: {
analysis: {
analyzer: {
standard_dictionary_decompound: {
tokenizer: "standard",
filter: ["22_char_dictionary_decompound"],
},
},
filter: {
"22_char_dictionary_decompound": {
type: "dictionary_decompounder",
word_list_path: "analysis/example_word_list.txt",
max_subword_size: 22,
},
},
},
},
});
console.log(response);
PUT dictionary_decompound_example
{
"settings": {
"analysis": {
"analyzer": {
"standard_dictionary_decompound": {
"tokenizer": "standard",
"filter": [ "22_char_dictionary_decompound" ]
}
},
"filter": {
"22_char_dictionary_decompound": {
"type": "dictionary_decompounder",
"word_list_path": "analysis/example_word_list.txt",
"max_subword_size": 22
}
}
}
}
}