没有足够的节点来分配所有分片副本

编辑

没有足够的节点来分配所有分片副本

编辑

在不同的节点上分发数据副本(索引分片副本)可以并行处理请求,从而加快搜索查询速度。这可以通过增加副本分片的数量来实现,直到最大值(节点总数减一),这也有助于防止硬件故障。如果索引有首选层,Elasticsearch 将仅将该索引的数据副本放置在目标层的节点上。

如果遇到警告,提示没有足够的节点来分配所有分片副本,您可以通过向集群(或正在使用的数据层,如果使用了数据层)添加更多节点,或减少 index.number_of_replicas 索引设置来影响此行为。

为了解决这个问题,请按照以下步骤操作

一种分配副本分片的方法是添加一个可用区。这将增加 Elasticsearch 集群中数据节点的数量,以便可以分配副本分片。这可以通过编辑您的部署来完成。但首先,您需要发现索引的目标分配层。使用 Kibana 执行此操作。

使用 Kibana

  1. 登录到 Elastic Cloud 控制台
  2. Elasticsearch 服务 面板上,单击您的部署的名称。

    如果您的部署名称被禁用,则您的 Kibana 实例可能不正常,在这种情况下,请联系 Elastic 支持。如果您的部署不包含 Kibana,您只需 首先启用它

  3. 打开您的部署的侧面导航菜单(位于左上角的 Elastic 徽标下),然后转到 开发工具 > 控制台

    Kibana Console

要检查索引的目标分配层,请使用 获取索引设置 API 来检索 index.routing.allocation.include._tier_preference 设置的配置值

resp = client.indices.get_settings(
    index="my-index-000001",
    name="index.routing.allocation.include._tier_preference",
    flat_settings=True,
)
print(resp)
response = client.indices.get_settings(
  index: 'my-index-000001',
  name: 'index.routing.allocation.include._tier_preference',
  flat_settings: true
)
puts response
const response = await client.indices.getSettings({
  index: "my-index-000001",
  name: "index.routing.allocation.include._tier_preference",
  flat_settings: "true",
});
console.log(response);
GET /my-index-000001/_settings/index.routing.allocation.include._tier_preference?flat_settings

响应将如下所示

{
  "my-index-000001": {
    "settings": {
      "index.routing.allocation.include._tier_preference": "data_warm,data_hot" 
    }
  }
}

表示允许此索引分配到的数据层节点角色的逗号分隔列表,列表中的第一个角色具有较高的优先级,即索引的目标层。例如,在此示例中,层首选项是 data_warm,data_hot,因此索引的目标层是 warm 层,并且在 Elasticsearch 集群中需要更多具有 data_warm 角色的节点。

现在您知道了层,您希望增加该层中的节点数量,以便可以分配副本。为此,您可以增加每个区域的大小以增加您已使用的可用区域中的节点数量,或者增加可用区域的数量。通过单击屏幕左上角的三个水平条,然后选择 管理此部署,返回部署的着陆页。在该页面上,单击 管理 按钮,然后选择 编辑部署。请注意,您必须登录到 https://cloud.elastic.co/ 才能执行此操作。在 Elasticsearch 部分中,找到无法分配副本分片的层。

Kibana Console
  • 选项 1:增加每个区域的大小

    • 查看 每个区域的大小 下拉列表中的值。您在此处选择的每 64 GB RAM,将在每个区域中创建一个节点。如果您当前选择了 64 GB RAM 或更少,则每个区域中有一个节点。如果您选择 128 GB RAM,则每个区域将获得 2 个节点。如果您选择 192 GB RAM,则每个区域将获得 3 个节点,依此类推。如果该值小于最大可能值,则您可以为该层选择更高的值以添加更多节点。
  • 选项 2:增加可用区域的数量

    • 找到 可用区域 选择。如果它小于 3,则您可以为该层选择更高的可用区域数量。

如果无法增加每个区域的大小或可用区域的数量,则可以减少索引数据的副本数量。我们将通过检查 index.number_of_replicas 索引设置并减少配置的值来实现此目的。

  1. 如上所述访问 Kibana。
  2. 检查 index.number_of_replicas 索引设置。

    resp = client.indices.get_settings(
        index="my-index-000001",
        name="index.number_of_replicas",
    )
    print(resp)
    response = client.indices.get_settings(
      index: 'my-index-000001',
      name: 'index.number_of_replicas'
    )
    puts response
    const response = await client.indices.getSettings({
      index: "my-index-000001",
      name: "index.number_of_replicas",
    });
    console.log(response);
    GET /my-index-000001/_settings/index.number_of_replicas

    响应将如下所示

    {
      "my-index-000001" : {
        "settings" : {
          "index" : {
            "number_of_replicas" : "2" 
          }
        }
      }
    }

    表示索引所需的副本分片数量的当前配置值

  3. 使用 _cat/nodes API 查找目标层中的节点数量

    resp = client.cat.nodes(
        h="node.role",
    )
    print(resp)
    response = client.cat.nodes(
      h: 'node.role'
    )
    puts response
    const response = await client.cat.nodes({
      h: "node.role",
    });
    console.log(response);
    GET /_cat/nodes?h=node.role

    响应将如下所示,每行包含一个节点

    himrst
    mv
    himrst

    您可以计算包含表示目标层的字母的行,以了解您拥有多少个节点。有关详细信息,请参阅 查询参数。上面的示例有两行包含 h,因此热层中有两个节点。

  4. 减少此索引所需的副本分片总数的值。由于副本分片不能与主要分片位于同一节点上,以实现 高可用性,因此新值需要小于或等于上面找到的节点数减一。由于上面的示例在热层中找到了 2 个节点,因此 index.number_of_replicas 的最大值为 1。

    resp = client.indices.put_settings(
        index="my-index-000001",
        settings={
            "index": {
                "number_of_replicas": 1
            }
        },
    )
    print(resp)
    response = client.indices.put_settings(
      index: 'my-index-000001',
      body: {
        index: {
          number_of_replicas: 1
        }
      }
    )
    puts response
    const response = await client.indices.putSettings({
      index: "my-index-000001",
      settings: {
        index: {
          number_of_replicas: 1,
        },
      },
    });
    console.log(response);
    PUT /my-index-000001/_settings
    {
      "index" : {
        "number_of_replicas" : 1 
      }
    }

    index.number_of_replicas 索引配置的新值从之前的值 2 减少到 1。它可以设置为低至 0,但是对于除 可搜索快照索引以外的索引将其配置为 0 可能会导致节点重启期间的临时可用性丢失或数据损坏情况下的永久数据丢失。