搜索分片路由

Elastic Stack

为了防止硬件故障并提高搜索容量，Elasticsearch 可以在多个节点上的多个分片中存储索引数据的副本。在处理搜索请求时，Elasticsearch 会选择一个包含索引数据副本的节点，并将搜索请求转发到该节点的 shards。这个过程称为搜索分片路由或路由。

自适应副本选择

默认情况下，Elasticsearch 使用自适应副本选择来路由搜索请求。此方法使用分片分配感知和以下标准来选择合适的节点

协调节点和合适节点之间的先前请求的响应时间
合适节点处理先前搜索所花费的时间
合适节点的 search 线程池的队列大小

自适应副本选择旨在降低搜索延迟。但是，您可以通过使用集群设置 API 将 cluster.routing.use_adaptive_replica_selection 设置为 false 来禁用自适应副本选择。如果禁用，Elasticsearch 将使用轮询方法路由搜索请求，这可能会导致搜索速度变慢。

设置偏好

默认情况下，自适应副本选择会从所有合适的节点和分片中进行选择。但是，您可能只想获取本地节点的数据，或者想根据节点的硬件将搜索路由到特定节点。或者，您可能希望将重复的搜索发送到同一个分片，以利用缓存。

要限制符合条件的节点和分片的集合，请使用搜索 API 的 preference 查询参数。

例如，以下请求使用 _local 的 preference 搜索 my-index-000001。这会将搜索限制在本地节点上的分片。如果本地节点不包含索引数据的分片副本，则请求将使用自适应副本选择回退到另一个合适的节点。

		 GET /my-index-000001/_search?preference=_local {
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

	

您还可以使用 preference 参数根据提供的字符串将搜索路由到特定分片。如果集群状态和选定的分片没有改变，使用相同 preference 字符串的搜索将以相同的顺序路由到相同分片。

我们建议使用唯一的 preference 字符串，例如用户名或 Web 会话 ID。此字符串不能以 _ 开头。

提示

您可以使用此选项为常用且资源密集型的搜索提供缓存结果。如果分片数据未更改，具有相同 preference 字符串的重复搜索将从同一分片请求缓存中检索结果。对于时间序列用例，例如日志记录，旧索引中的数据很少更新，可以直接从该缓存中提供。

以下请求使用 my-custom-shard-string 的 preference 字符串搜索 my-index-000001。

		 GET /my-index-000001/_search?preference=my-custom-shard-string {
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

	

注意

如果集群状态或选定的分片发生更改，相同的 preference 字符串可能不会以相同的顺序路由搜索到相同分片。这可能由于多种原因发生，包括分片重定位和分片故障。节点也可以拒绝搜索请求，Elasticsearch 会将其重新路由到另一个节点。

使用路由值

索引文档时，您可以指定一个可选的路由值，该值会将文档路由到特定分片。

例如，以下索引请求使用 my-routing-value 路由文档。

		 POST /my-index-000001/_doc?routing=my-routing-value {
  "@timestamp": "2099-11-15T13:12:00",
  "message": "GET /search HTTP/1.1 200 1070000",
  "user": {
    "id": "kimchy"
  }
}

	

您可以在搜索 API 的 routing 查询参数中使用相同的路由值。这可确保搜索在用于索引文档的同一分片上运行。

		 GET /my-index-000001/_search?routing=my-routing-value {
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

	

您还可以提供多个逗号分隔的路由值

		 GET /my-index-000001/_search?routing=my-routing-value,my-routing-value-2 {
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

	

搜索并发和并行

默认情况下，Elasticsearch 不会根据搜索请求命中的分片数量拒绝搜索请求。但是，命中大量分片会显着增加 CPU 和内存使用量。

提示

有关防止具有大量分片的索引的技巧，请参阅 调整分片大小。

您可以使用 max_concurrent_shard_requests 查询参数来控制搜索请求在每个节点上可以命中的并发分片的最大数量。这可以防止单个请求使集群过载。该参数的默认最大值为 5。

		 GET /my-index-000001/_search?max_concurrent_shard_requests=3 {
  "query": {
    "match": {
      "user.id": "kimchy"
    }
  }
}

	

您还可以使用 action.search.shard_count.limit 集群设置来设置搜索分片限制，并拒绝命中过多分片的请求。您可以使用集群设置 API 配置 action.search.shard_count.limit。