集群级别的分片分配和路由设置

您可以使用以下设置来控制分片分配和恢复

当每个节点上的分片数量相等，所有节点需要相同的资源，并且任何节点上都没有任何索引的分片集中时，集群是平衡的。Elasticsearch 运行一个称为重新平衡的自动过程，该过程在集群中的节点之间移动分片以改善其平衡。重新平衡遵守所有其他分片分配规则，例如 分配过滤 和 强制感知，这可能会阻止它完全平衡集群。在这种情况下，重新平衡会努力在您配置的规则内实现最平衡的集群。如果您正在使用数据层，那么 Elasticsearch 会自动应用分配过滤规则，将每个分片放置在适当的层中。这些规则意味着平衡器在每个层内独立工作。

您可以使用以下设置来控制集群中分片的重新平衡

重新平衡的工作原理是根据每个节点的分片分配计算其权重，然后在节点之间移动分片以减少较重节点的权重并增加较轻节点的权重。当没有可能的分片移动可以将任何节点的权重比其他任何节点的权重更接近可配置的阈值时，集群是平衡的。

节点的权重取决于它持有的分片数量以及这些分片在磁盘上的大小以及支持分片的写入流量所需的线程数表示的总估计资源使用量。当通过滚动创建数据流时，Elasticsearch 会估计属于数据流的分片的资源使用量。新分片的估计磁盘大小是数据流中其他分片的平均大小。新分片的估计写入负载是数据流中最近分片的实际写入负载的加权平均值。不属于数据流写入索引的分片的估计写入负载为零。

以下设置控制 Elasticsearch 如何将这些值组合成每个节点权重的整体度量。

基于磁盘的分片分配器确保所有节点都有足够的磁盘空间，而不会执行不必要的分片移动。它基于一对称为低水位线和高水位线的阈值来分配分片。其主要目标是确保没有节点超过高水位线，或者至少任何此类超额只是暂时的。如果某个节点超过高水位线，那么 Elasticsearch 将通过将其一些分片移动到集群中的其他节点来解决此问题。

分配器还尝试通过禁止将更多分片分配给超过低水位线的节点来使节点远离高水位线。重要的是，如果您所有的节点都已超过低水位线，则无法分配任何新分片，并且 Elasticsearch 将无法在节点之间移动任何分片以使磁盘使用率保持在低水位线以下。您必须确保您的集群总共有足够的磁盘空间，并且始终有一些节点低于低水位线。

由基于磁盘的分片分配器触发的分片移动还必须满足所有其他分片分配规则，例如分配过滤和强制感知。如果这些规则过于严格，那么它们也会阻止保持节点磁盘使用率受控所需的分片移动。如果您正在使用数据层，那么 Elasticsearch 会自动配置分配过滤规则，以便将分片放置在适当的层中，这意味着基于磁盘的分片分配器在每个层中独立工作。

如果某个节点填充其磁盘的速度快于 Elasticsearch 将分片移动到其他位置的速度，则存在磁盘完全填满的风险。为了防止这种情况，作为最后的手段，一旦磁盘使用率达到洪水期水位线，Elasticsearch 将阻止向受影响节点上具有分片的索引进行写入。它还将继续将分片移动到集群中的其他节点上。当受影响节点的磁盘使用率降至高水位线以下时，Elasticsearch 会自动移除写入阻止。请参阅修复水位线错误以解决持久的水位线错误。

您可以使用以下设置来控制基于磁盘的分配

一个示例是将低水位线更新为至少 100GB 可用空间，将高水位线更新为至少 50GB 可用空间，将洪水水位线更新为 10GB 可用空间，并每分钟更新一次关于集群的信息

resp = client.cluster.put_settings(
    persistent={
        "cluster.routing.allocation.disk.watermark.low": "100gb",
        "cluster.routing.allocation.disk.watermark.high": "50gb",
        "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
        "cluster.info.update.interval": "1m"
    },
)
print(resp)

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.disk.watermark.low' => '100gb',
      'cluster.routing.allocation.disk.watermark.high' => '50gb',
      'cluster.routing.allocation.disk.watermark.flood_stage' => '10gb',
      'cluster.info.update.interval' => '1m'
    }
  }
)
puts response

const response = await client.cluster.putSettings({
  persistent: {
    "cluster.routing.allocation.disk.watermark.low": "100gb",
    "cluster.routing.allocation.disk.watermark.high": "50gb",
    "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
    "cluster.info.update.interval": "1m",
  },
});
console.log(response);

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.disk.watermark.low": "100gb",
    "cluster.routing.allocation.disk.watermark.high": "50gb",
    "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
    "cluster.info.update.interval": "1m"
  }
}

关于水位线的最大缓冲空间设置，请注意，这些仅适用于水位线设置为百分比/比率的情况。最大缓冲空间值的目的是限制在达到各自水位线之前所需的可用磁盘空间。这对于具有较大磁盘的服务器尤其有用，在这些服务器上，百分比/比率水位线可能会转化为对大量可用磁盘空间的要求，而最大缓冲空间可以用来限制所需的可用磁盘空间量。例如，让我们以洪水水位线的默认设置为例。它具有 95% 的默认值，而洪水最大缓冲空间设置的默认值为 100GB。这意味着

最后，只有在未显式设置各自的水位线设置（即，它们具有默认百分比值）的情况下，最大缓冲空间设置才具有其默认值。如果显式设置了水位线，则最大缓冲空间设置不具有其默认值，如果需要，则需要显式设置。

您可以将自定义节点属性用作感知属性，以使 Elasticsearch 在分配分片时考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点在同一物理服务器、同一机架或同一区域中，则它可以分配主分片及其副本分片，以最大程度地减少在发生故障时丢失所有分片副本的风险。

当使用 动态 cluster.routing.allocation.awareness.attributes 设置启用分片分配感知时，分片仅分配给已为指定感知属性设置值的节点。如果您使用多个感知属性，Elasticsearch 在分配分片时会单独考虑每个属性。

启用分片分配感知

编辑

要启用分片分配感知

1. 使用自定义节点属性指定每个节点的位置。例如，如果您希望 Elasticsearch 将分片分布到不同的机架，则可以使用名为 rack_id 的感知属性。

   您可以通过两种方式设置自定义属性

   • 通过编辑 elasticsearch.yml 配置文件

     node.attr.rack_id: rack_one

   • 在启动节点时使用 -E 命令行参数

     ./bin/elasticsearch -Enode.attr.rack_id=rack_one

2. 通过在每个符合主节点条件的节点的 elasticsearch.yml 配置文件中设置 cluster.routing.allocation.awareness.attributes，告知 Elasticsearch 在分配分片时考虑一个或多个感知属性。

   cluster.routing.allocation.awareness.attributes: rack_id 

   将多个属性指定为逗号分隔的列表。

   您还可以使用 cluster-update-settings API 来设置或更新集群的感知属性

   resp = client.cluster.put_settings(
       persistent={
           "cluster.routing.allocation.awareness.attributes": "rack_id"
       },
   )
   print(resp)

   response = client.cluster.put_settings(
     body: {
       persistent: {
         'cluster.routing.allocation.awareness.attributes' => 'rack_id'
       }
     }
   )
   puts response

   const response = await client.cluster.putSettings({
     persistent: {
       "cluster.routing.allocation.awareness.attributes": "rack_id",
     },
   });
   console.log(response);

   PUT /_cluster/settings
   {
     "persistent" : {
       "cluster.routing.allocation.awareness.attributes" : "rack_id"
     }
   }

使用此示例配置，如果您启动两个将 node.attr.rack_id 设置为 rack_one 的节点，并创建一个包含 5 个主分片和每个主分片 1 个副本的索引，则所有主分片和副本都会在这两个节点上分配。

图 1. 所有主分片和副本都分配在同一机架中的两个节点上

如果您添加两个将 node.attr.rack_id 设置为 rack_two 的节点，Elasticsearch 会将分片移动到新节点，从而确保（如果可能）同一分片的两个副本不在同一机架中。

图 2. 主分片和副本分配在两个机架中的四个节点上，同一分片的两个副本不在同一机架中

如果 rack_two 发生故障并导致其两个节点都关闭，默认情况下，Elasticsearch 会将丢失的分片副本分配给 rack_one 中的节点。为了防止特定分片的多个副本分配在同一位置，您可以启用强制感知。

cluster.routing.allocation.awareness.attributes: zone
cluster.routing.allocation.awareness.force.zone.values: zone1,zone2 

您可以使用集群级分片分配过滤器来控制 Elasticsearch 从任何索引分配分片的位置。这些集群范围的过滤器与每个索引的分配过滤和分配感知结合使用。

分片分配过滤器可以基于自定义节点属性或内置的 _name、_host_ip、_publish_ip、_ip、_host、_id 和 _tier 属性。

cluster.routing.allocation 设置是动态的，这使得可以实时将索引从一组节点移动到另一组节点。只有在不违反其他路由约束（例如，永远不在同一节点上分配主分片和副本分片）的情况下才重新定位分片。

集群级分片分配过滤最常见的用例是当您想要停用节点时。要在关闭节点之前将分片移出节点，您可以创建一个按其 IP 地址排除该节点的过滤器

resp = client.cluster.put_settings(
    persistent={
        "cluster.routing.allocation.exclude._ip": "10.0.0.1"
    },
)
print(resp)

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '10.0.0.1'
    }
  }
)
puts response

const response = await client.cluster.putSettings({
  persistent: {
    "cluster.routing.allocation.exclude._ip": "10.0.0.1",
  },
});
console.log(response);

PUT _cluster/settings
{
  "persistent" : {
    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
  }
}

resp = client.cluster.put_settings(
    persistent={
        "cluster.routing.allocation.exclude._ip": "192.168.2.*"
    },
)
print(resp)

response = client.cluster.put_settings(
  body: {
    persistent: {
      'cluster.routing.allocation.exclude._ip' => '192.168.2.*'
    }
  }
)
puts response

const response = await client.cluster.putSettings({
  persistent: {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*",
  },
});
console.log(response);

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.exclude._ip": "192.168.2.*"
  }
}