简单模式分词器
编辑简单模式分词器
编辑simple_pattern 分词器使用正则表达式将匹配的文本捕获为词元。它支持的正则表达式功能集比pattern 分词器更受限制，但分词速度通常更快。
与pattern 分词器不同，此分词器不支持根据模式匹配拆分输入。若要使用相同的受限正则表达式子集根据模式匹配进行拆分，请参阅simple_pattern_split 分词器。
此分词器使用Lucene 正则表达式。有关支持的功能和语法的说明，请参阅正则表达式语法。
默认模式为空字符串，不会生成任何词元。此分词器应始终配置为使用非默认模式。
配置
编辑simple_pattern 分词器接受以下参数
|
|
Lucene 正则表达式，默认为空字符串。 |
示例配置
编辑此示例配置simple_pattern 分词器以生成三位数的词元
resp = client.indices.create(
index="my-index-000001",
settings={
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "simple_pattern",
"pattern": "[0123456789]{3}"
}
}
}
},
)
print(resp)
resp1 = client.indices.analyze(
index="my-index-000001",
analyzer="my_analyzer",
text="fd-786-335-514-x",
)
print(resp1)
response = client.indices.create(
index: 'my-index-000001',
body: {
settings: {
analysis: {
analyzer: {
my_analyzer: {
tokenizer: 'my_tokenizer'
}
},
tokenizer: {
my_tokenizer: {
type: 'simple_pattern',
pattern: '[0123456789]{3}'
}
}
}
}
}
)
puts response
response = client.indices.analyze(
index: 'my-index-000001',
body: {
analyzer: 'my_analyzer',
text: 'fd-786-335-514-x'
}
)
puts response
const response = await client.indices.create({
index: "my-index-000001",
settings: {
analysis: {
analyzer: {
my_analyzer: {
tokenizer: "my_tokenizer",
},
},
tokenizer: {
my_tokenizer: {
type: "simple_pattern",
pattern: "[0123456789]{3}",
},
},
},
},
});
console.log(response);
const response1 = await client.indices.analyze({
index: "my-index-000001",
analyzer: "my_analyzer",
text: "fd-786-335-514-x",
});
console.log(response1);
PUT my-index-000001
{
"settings": {
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "simple_pattern",
"pattern": "[0123456789]{3}"
}
}
}
}
}
POST my-index-000001/_analyze
{
"analyzer": "my_analyzer",
"text": "fd-786-335-514-x"
}
以上示例生成以下词元
[ 786, 335, 514 ]