› › ›

多路复用器令牌过滤器

多路复用器令牌过滤器编辑

类型为 multiplexer 的令牌过滤器将在同一位置发出多个令牌，每个令牌版本都已通过不同的过滤器运行。同一位置的相同输出令牌将被删除。

如果传入的令牌流包含重复令牌，则这些令牌也将被多路复用器删除。

选项编辑

filters

要应用于传入令牌的令牌过滤器列表。这些可以是索引映射中定义的任何令牌过滤器。过滤器可以使用逗号分隔的字符串进行链接，例如 "lowercase, porter_stem" 将对单个令牌应用 lowercase 过滤器，然后应用 porter_stem 过滤器。

Shingle 或多词同义词令牌过滤器在 filters 数组中声明时将无法正常工作，因为它们在内部向前读取，而多路复用器不支持这种操作。

preserve_original: 如果为 true（默认值），则除了过滤后的令牌之外，还会发出原始令牌。

设置示例编辑

您可以像这样设置它

response = client.indices.create(
  index: 'multiplexer_example',
  body: {
    settings: {
      analysis: {
        analyzer: {
          my_analyzer: {
            tokenizer: 'standard',
            filter: [
              'my_multiplexer'
            ]
          }
        },
        filter: {
          my_multiplexer: {
            type: 'multiplexer',
            filters: [
              'lowercase',
              'lowercase, porter_stem'
            ]
          }
        }
      }
    }
  }
)
puts response

PUT /multiplexer_example
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [ "my_multiplexer" ]
        }
      },
      "filter": {
        "my_multiplexer": {
          "type": "multiplexer",
          "filters": [ "lowercase", "lowercase, porter_stem" ]
        }
      }
    }
  }
}

并像这样测试它

response = client.indices.analyze(
  index: 'multiplexer_example',
  body: {
    analyzer: 'my_analyzer',
    text: 'Going HOME'
  }
)
puts response

POST /multiplexer_example/_analyze
{
  "analyzer" : "my_analyzer",
  "text" : "Going HOME"
}

它将响应

{
  "tokens": [
    {
      "token": "Going",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "going",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "go",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "HOME",
      "start_offset": 6,
      "end_offset": 10,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "home",          
      "start_offset": 6,
      "end_offset": 10,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}

词干提取器还在位置 1 发出了一个令牌 home，但由于它是该令牌的重复项，因此已从令牌流中删除。

同义词和同义词图过滤器使用它们之前的分析链来解析和分析它们的同义词列表，如果该链包含在同一位置产生多个令牌的令牌过滤器，则会抛出异常。如果您想将同义词应用于包含多路复用器的令牌流，则应将同义词过滤器附加到每个相关的多路复用器过滤器列表，而不是将其放在主令牌链定义中的多路复用器之后。

« MinHash 令牌过滤器 N-gram 令牌过滤器 »