指纹标记过滤器
编辑指纹标记过滤器编辑
对标记流中的标记进行排序并删除重复标记，然后将流连接成单个输出标记。
例如，此过滤器按如下方式更改 [ the, fox, was, very, very, quick ] 标记流
- 按字母顺序对标记进行排序，得到
[ fox, quick, the, very, very, was ] - 删除
very标记的重复实例。 - 将标记流连接成单个输出标记：
[fox quick the very was ]
此过滤器生成的输出标记可用于对文本主体进行指纹识别和聚类，如 OpenRefine 项目 中所述。
此过滤器使用 Lucene 的 FingerprintFilter。
示例编辑
以下 分析 API 请求使用 fingerprint 过滤器为文本 zebra jumps over resting resting dog 创建单个输出标记
response = client.indices.analyze(
body: {
tokenizer: 'whitespace',
filter: [
'fingerprint'
],
text: 'zebra jumps over resting resting dog'
}
)
puts response
GET _analyze
{
"tokenizer" : "whitespace",
"filter" : ["fingerprint"],
"text" : "zebra jumps over resting resting dog"
}
该过滤器生成以下标记
[ dog jumps over resting zebra ]
添加到分析器编辑
以下 创建索引 API 请求使用 fingerprint 过滤器配置新的 自定义分析器。
response = client.indices.create(
index: 'fingerprint_example',
body: {
settings: {
analysis: {
analyzer: {
whitespace_fingerprint: {
tokenizer: 'whitespace',
filter: [
'fingerprint'
]
}
}
}
}
}
)
puts response
PUT fingerprint_example
{
"settings": {
"analysis": {
"analyzer": {
"whitespace_fingerprint": {
"tokenizer": "whitespace",
"filter": [ "fingerprint" ]
}
}
}
}
}
可配置参数编辑
自定义编辑
要自定义 fingerprint 过滤器，请复制它以创建新的自定义标记过滤器的基础。您可以使用其可配置参数修改过滤器。
例如，以下请求创建一个自定义 fingerprint 过滤器，该过滤器使用 + 连接标记流。该过滤器还将输出标记限制为不超过 100 个字符。
response = client.indices.create(
index: 'custom_fingerprint_example',
body: {
settings: {
analysis: {
analyzer: {
whitespace_: {
tokenizer: 'whitespace',
filter: [
'fingerprint_plus_concat'
]
}
},
filter: {
fingerprint_plus_concat: {
type: 'fingerprint',
max_output_size: 100,
separator: '+'
}
}
}
}
}
)
puts response
PUT custom_fingerprint_example
{
"settings": {
"analysis": {
"analyzer": {
"whitespace_": {
"tokenizer": "whitespace",
"filter": [ "fingerprint_plus_concat" ]
}
},
"filter": {
"fingerprint_plus_concat": {
"type": "fingerprint",
"max_output_size": 100,
"separator": "+"
}
}
}
}
}