« 检索内部命中 使用查询规则搜索 »
Elastic 文档 ›Elasticsearch 指南 [8.14] ›搜索您的数据 ›搜索 API

搜索分片路由

编辑

搜索分片路由编辑

为了防止硬件故障并提高搜索能力，Elasticsearch 可以将索引数据的副本存储在多个节点上的多个分片上。在运行搜索请求时，Elasticsearch 会选择包含索引数据副本的节点，并将搜索请求转发到该节点的分片。此过程称为搜索分片路由或路由。

自适应副本选择编辑

默认情况下，Elasticsearch 使用自适应副本选择来路由搜索请求。此方法使用分片分配感知和以下条件选择合格节点

  • 协调节点与合格节点之间先前请求的响应时间
  • 合格节点运行先前搜索所花费的时间
  • 合格节点的search 线程池的队列大小

自适应副本选择旨在降低搜索延迟。但是，您可以通过使用集群设置 API将cluster.routing.use_adaptive_replica_selection设置为false来禁用自适应副本选择。如果禁用，Elasticsearch 将使用循环方法路由搜索请求，这可能会导致搜索速度变慢。

设置首选项编辑

默认情况下，自适应副本选择从所有合格节点和分片中进行选择。但是，您可能只想从本地节点获取数据，或者根据节点的硬件将搜索路由到特定节点。或者，您可能希望将重复的搜索发送到同一个分片，以利用缓存。

要限制搜索请求的合格节点和分片的集合，请使用搜索 API 的preference查询参数。

例如，以下请求使用_local的preference搜索my-index-000001。这将搜索限制在本地节点上的分片。如果本地节点不包含索引数据的任何分片副本，则请求将使用自适应副本选择作为回退到另一个合格节点。

response = client.search(
  index: 'my-index-000001',
  preference: '_local',
  body: {
    query: {
      match: {
        'user.id' => 'kimchy'
      }
    }
  }
)
puts response
GET /my-index-000001/_search?preference=_local
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

您还可以使用preference参数根据提供的字符串将搜索路由到特定分片。如果集群状态和选定的分片没有改变，使用相同preference字符串的搜索将按相同顺序路由到相同的分片。

我们建议使用唯一的preference字符串，例如用户名或 Web 会话 ID。此字符串不能以_开头。

您可以使用此选项为经常使用且资源密集型搜索提供缓存结果。如果分片的数据没有改变，使用相同preference字符串的重复搜索将从相同的分片分片请求缓存中检索结果。对于时间序列用例（例如日志记录），较旧索引中的数据很少更新，可以直接从该缓存中提供。

以下请求使用my-custom-shard-string的preference字符串搜索my-index-000001。

response = client.search(
  index: 'my-index-000001',
  preference: 'my-custom-shard-string',
  body: {
    query: {
      match: {
        'user.id' => 'kimchy'
      }
    }
  }
)
puts response
GET /my-index-000001/_search?preference=my-custom-shard-string
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

如果集群状态或选定的分片发生变化，相同的preference字符串可能不会按相同顺序将搜索路由到相同的分片。这可能是由于多种原因造成的，包括分片重新定位和分片故障。节点也可以拒绝搜索请求，Elasticsearch 会将其重新路由到另一个节点。

使用路由值编辑

当您索引文档时，您可以指定一个可选的路由值，它将文档路由到特定分片。

例如，以下索引请求使用my-routing-value路由文档。

response = client.index(
  index: 'my-index-000001',
  routing: 'my-routing-value',
  body: {
    "@timestamp": '2099-11-15T13:12:00',
    message: 'GET /search HTTP/1.1 200 1070000',
    user: {
      id: 'kimchy'
    }
  }
)
puts response
POST /my-index-000001/_doc?routing=my-routing-value
{
  "@timestamp": "2099-11-15T13:12:00",
  "message": "GET /search HTTP/1.1 200 1070000",
  "user": {
    "id": "kimchy"
  }
}

您可以在搜索 API 的routing查询参数中使用相同的路由值。这将确保搜索在用于索引文档的同一分片上运行。

response = client.search(
  index: 'my-index-000001',
  routing: 'my-routing-value',
  body: {
    query: {
      match: {
        'user.id' => 'kimchy'
      }
    }
  }
)
puts response
GET /my-index-000001/_search?routing=my-routing-value
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

您还可以提供多个用逗号分隔的路由值

response = client.search(
  index: 'my-index-000001',
  routing: 'my-routing-value,my-routing-value-2',
  body: {
    query: {
      match: {
        'user.id' => 'kimchy'
      }
    }
  }
)
puts response
GET /my-index-000001/_search?routing=my-routing-value,my-routing-value-2
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

搜索并发性和并行性编辑

默认情况下，Elasticsearch 不会根据请求命中的分片数量拒绝搜索请求。但是，命中大量分片会显着增加 CPU 和内存使用量。

有关防止具有大量分片的索引的提示，请参阅调整分片大小。

您可以使用max_concurrent_shard_requests查询参数来控制搜索请求每个节点可以命中的最大并发分片数。这可以防止单个请求过载集群。该参数默认为最大5。

response = client.search(
  index: 'my-index-000001',
  max_concurrent_shard_requests: 3,
  body: {
    query: {
      match: {
        'user.id' => 'kimchy'
      }
    }
  }
)
puts response
GET /my-index-000001/_search?max_concurrent_shard_requests=3
{
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

您还可以使用action.search.shard_count.limit集群设置来设置搜索分片限制并拒绝命中过多分片的请求。您可以使用集群设置 API配置action.search.shard_count.limit。

« 检索内部命中 使用查询规则搜索 »