集群级分片分配和路由设置

您可以使用以下设置来控制分片分配和恢复

当集群在每个节点上具有相同数量的分片，所有节点需要相等的资源，并且没有任何索引的分片集中在任何节点上时，该集群就是平衡的。Elasticsearch 运行一个称为重新平衡的自动过程，该过程在集群中的节点之间移动分片以改善其平衡。重新平衡遵循所有其他分片分配规则，例如分配过滤和强制感知，这可能会阻止其完全平衡集群。在这种情况下，重新平衡会努力在您配置的规则内实现尽可能平衡的集群。如果您正在使用数据层，则 Elasticsearch 会自动应用分配过滤规则将每个分片放置在适当的层内。这些规则意味着平衡器在每一层内独立工作。

您可以使用以下设置来控制分片在集群中的重新平衡

重新平衡的工作原理是根据每个节点的分片分配情况计算其权重，然后在节点之间移动分片以减少较重节点的权重并增加较轻节点的权重。当没有任何可能的分片移动可以使任何节点的权重更接近任何其他节点的权重超过可配置阈值时，集群就平衡了。

节点的权重取决于它持有的分片数量，以及这些分片估计使用的总资源量，这些资源量用磁盘上的分片大小和支持写入分片的线程数量来表示。Elasticsearch 在数据流所属的分片由滚动创建时估计其资源使用情况。新分片的估计磁盘大小是数据流中其他分片的平均大小。新分片的估计写入负载是数据流中最近分片的实际写入负载的加权平均值。不属于数据流写入索引的分片的估计写入负载为零。

以下设置控制 Elasticsearch 如何将这些值组合成每个节点权重的总体度量。

基于磁盘的分片分配器可确保所有节点都具有足够的磁盘空间，而无需执行不必要的分片移动。它根据称为“低水位线”和“高水位线”的一对阈值来分配分片。其主要目标是确保任何节点都不会超过高水位线，或者至少任何此类超额都只是暂时的。如果某个节点超过了高水位线，则 Elasticsearch 将通过将其某些分片移动到集群中的其他节点来解决此问题。

分配器还尝试通过禁止将更多分片分配给超过低水位线的节点来使节点远离高水位线。重要的是，如果您的所有节点都超过了低水位线，则无法分配新的分片，并且 Elasticsearch 将无法在节点之间移动任何分片以使磁盘使用率低于高水位线。您必须确保您的集群总共有足够的磁盘空间，并且始终有一些节点低于低水位线。

由基于磁盘的分片分配器触发的分片移动还必须满足所有其他分片分配规则，例如 分配过滤 和 强制感知。如果这些规则过于严格，则它们还会阻止控制节点磁盘使用率所需的分片移动。如果您正在使用 数据层，则 Elasticsearch 会自动配置分配过滤规则以将分片放置在适当的层中，这意味着基于磁盘的分片分配器在每个层中独立工作。

如果某个节点填充磁盘的速度快于 Elasticsearch 可以将分片移动到其他位置的速度，则存在磁盘完全填满的风险。为了防止这种情况发生，作为最后的手段，一旦磁盘使用率达到“泛滥阶段”水位线，Elasticsearch 将阻止写入受影响节点上具有分片的索引。它还将继续将分片移动到集群中的其他节点。当受影响节点上的磁盘使用率降至高水位线以下时，Elasticsearch 会自动删除写入块。请参阅 修复水位线错误 以解决持久性水位线错误。

您可以使用以下设置来控制基于磁盘的分配

以下示例将低水印更新为至少 100GB 可用空间，将高水印更新为至少 50GB 可用空间，将溢出阶段水印更新为 10GB 可用空间，并将集群信息的更新频率更新为每分钟一次

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.disk.watermark.low' => '100gb',
      'cluster.routing.allocation.disk.watermark.high' => '50gb',
      'cluster.routing.allocation.disk.watermark.flood_stage' => '10gb',
      'cluster.info.update.interval' => '1m'
    }
  }
)
puts response

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.disk.watermark.low": "100gb",
    "cluster.routing.allocation.disk.watermark.high": "50gb",
    "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
    "cluster.info.update.interval": "1m"
  }
}

关于水印的最大预留空间设置，请注意，这些设置仅在水印设置为百分比/比率时适用。最大预留空间值的目的是在达到相应水印之前限制所需的可用磁盘空间。这对于具有较大磁盘的服务器特别有用，因为百分比/比率水印可能会转化为很大的可用磁盘空间需求，并且可以使用最大预留空间来限制所需的可用磁盘空间量。例如，让我们看一下溢出水印的默认设置。它的默认值为 95%，溢出最大预留空间设置的默认值为 100GB。这意味着

最后，只有在未明确设置相应的水印设置时（因此，它们具有默认的百分比值），最大预留空间设置才会具有默认值。如果明确设置了水印，则最大预留空间设置将没有默认值，如果需要，则需要明确设置。

您可以使用自定义节点属性作为*感知属性*，使 Elasticsearch 能够在分配分片时考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点位于同一物理服务器上、同一机架中或同一区域中，它可以分发主分片及其副本分片，以最大限度地降低在发生故障时丢失所有分片副本的风险。

当使用 动态 cluster.routing.allocation.awareness.attributes 设置启用分片分配感知时，分片仅分配给为其指定了感知属性值的节点。如果您使用多个感知属性，Elasticsearch 会在分配分片时分别考虑每个属性。

启用分片分配感知编辑

要启用分片分配感知，请执行以下操作

1. 使用自定义节点属性指定每个节点的位置。例如，如果您希望 Elasticsearch 在不同机架之间分发分片，则可以使用名为 rack_id 的感知属性。

   您可以通过以下两种方式设置自定义属性

   • 通过编辑 elasticsearch.yml 配置文件

     node.attr.rack_id: rack_one

   • 在启动节点时使用 -E 命令行参数

     ./bin/elasticsearch -Enode.attr.rack_id=rack_one

2. 通过在*每个*符合主节点条件的节点的 elasticsearch.yml 配置文件中设置 cluster.routing.allocation.awareness.attributes，告诉 Elasticsearch 在分配分片时考虑一个或多个感知属性。

   cluster.routing.allocation.awareness.attributes: rack_id 

   将多个属性指定为逗号分隔的列表。

   您还可以使用 集群更新设置 API 来设置或更新集群的感知属性

   response = client.cluster.put_settings(
     body: {
       persistent: {
         'cluster.routing.allocation.awareness.attributes' => 'rack_id'
       }
     }
   )
   puts response

   PUT /_cluster/settings
   {
     "persistent" : {
       "cluster.routing.allocation.awareness.attributes" : "rack_id"
     }
   }

使用此示例配置，如果您启动两个 node.attr.rack_id 设置为 rack_one 的节点，并创建一个包含 5 个主分片和每个主分片的 1 个副本的索引，则所有主分片和副本都将分配到这两个节点上。

图 1. 所有主分片和副本都分配到同一机架中的两个节点上

如果您添加两个 node.attr.rack_id 设置为 rack_two 的节点，Elasticsearch 会将分片移动到新节点，确保（如果可能）同一个分片的两个副本不在同一个机架中。

图 2. 主分片和副本分配到两个机架中的四个节点上，同一个分片的两个副本不在同一个机架中

如果 rack_two 发生故障并导致其两个节点都关闭，默认情况下，Elasticsearch 会将丢失的分片副本分配给 rack_one 中的节点。为了防止将特定分片的多个副本分配到同一位置，您可以启用强制感知。

cluster.routing.allocation.awareness.attributes: zone
cluster.routing.allocation.awareness.force.zone.values: zone1,zone2 

您可以使用集群级分片分配过滤器来控制 Elasticsearch 从任何索引分配分片的位置。这些集群范围的过滤器与 每个索引的分配过滤 和 分配感知一起应用。

分片分配过滤器可以基于自定义节点属性或内置的 _name、_host_ip、_publish_ip、_ip、_host、_id 和 _tier 属性。

cluster.routing.allocation 设置是 动态 的，允许将活动索引从一组节点移动到另一组节点。只有在不破坏其他路由约束（例如，从不在同一节点上分配主分片和副本分片）的情况下才能重新定位分片。

集群级分片分配过滤最常见的用例是当您想要停用某个节点时。要在关闭节点之前将分片从该节点移走，您可以创建一个按 IP 地址排除该节点的过滤器

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '10.0.0.1'
    }
  }
)
puts response

PUT _cluster/settings
{
  "persistent" : {
    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
  }
}

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '192.168.2.*'
    }
  }
)
puts response

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*"
  }
}