空格分词器
编辑空格分词器编辑
whitespace 分词器会在遇到空格字符时将文本拆分成词元。
示例输出编辑
response = client.indices.analyze(
body: {
tokenizer: 'whitespace',
text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
)
puts response
POST _analyze
{
"tokenizer": "whitespace",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
上述句子将生成以下词元
[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]
配置编辑
whitespace 分词器接受以下参数
|
|
最大词元长度。如果看到的词元超过此长度，则会在 |