› › ›

减少数据节点的磁盘使用量

编辑

减少数据节点的磁盘使用量

编辑

为了在不丢失任何数据的情况下减少集群中的磁盘使用量，您可以尝试减少索引的副本数。

减少索引的副本数可能会降低搜索吞吐量和数据冗余。但是，它可以快速为集群提供喘息的空间，直到有更永久的解决方案到位。

使用 Kibana

登录到 Elastic Cloud 控制台。
在 Elasticsearch Service 面板上，单击您的部署名称。

如果您的部署名称被禁用，则您的 Kibana 实例可能不健康，在这种情况下，请联系 Elastic 支持。如果您的部署不包含 Kibana，您只需先启用它即可。
打开您部署的侧边导航菜单（位于左上角的 Elastic 徽标下），然后转到 Stack Management > Index Management。
在所有索引的列表中，单击 Replicas 列两次，以按其副本数量对索引进行排序，从具有最多副本的索引开始。浏览这些索引，并逐个选择重要性最低且副本数较高的索引。

减少索引的副本数可能会降低搜索吞吐量和数据冗余。
对于您选择的每个索引，单击其名称，然后在出现的面板上单击 Edit settings，将 index.number_of_replicas 的值减少到所需的值，然后单击 Save。
继续此过程，直到集群再次处于健康状态。

为了估计需要删除多少个副本，首先您需要估计需要释放的磁盘空间量。

首先，检索相关的磁盘阈值，这将指示应该释放多少空间。相关的阈值是除冻结层之外的所有层的高水位线和冻结层的冻结洪水阶段水位线。以下示例演示了热层中的磁盘短缺，因此我们仅检索高水位线

resp = client.cluster.get_settings(
    include_defaults=True,
    filter_path="*.cluster.routing.allocation.disk.watermark.high*",
)
print(resp)

response = client.cluster.get_settings(
  include_defaults: true,
  filter_path: '*.cluster.routing.allocation.disk.watermark.high*'
)
puts response

const response = await client.cluster.getSettings({
  include_defaults: "true",
  filter_path: "*.cluster.routing.allocation.disk.watermark.high*",
});
console.log(response);

GET _cluster/settings?include_defaults&filter_path=*.cluster.routing.allocation.disk.watermark.high*

响应将如下所示

{
  "defaults": {
    "cluster": {
      "routing": {
        "allocation": {
          "disk": {
            "watermark": {
              "high": "90%",
              "high.max_headroom": "150GB"
            }
          }
        }
      }
    }
  }
}

以上意味着为了解决磁盘短缺，我们需要将磁盘使用率降低到 90% 以下，或者拥有超过 150GB 的可用空间，有关此阈值如何工作的更多信息，请阅读此处。

下一步是找出当前的磁盘使用情况；这将指示应该释放多少空间。为简单起见，我们的示例只有一个节点，但是您可以将相同的方法应用于超过相关阈值的每个节点。

resp = client.cat.allocation(
    v=True,
    s="disk.avail",
    h="node,disk.percent,disk.avail,disk.total,disk.used,disk.indices,shards",
)
print(resp)

response = client.cat.allocation(
  v: true,
  s: 'disk.avail',
  h: 'node,disk.percent,disk.avail,disk.total,disk.used,disk.indices,shards'
)
puts response

const response = await client.cat.allocation({
  v: "true",
  s: "disk.avail",
  h: "node,disk.percent,disk.avail,disk.total,disk.used,disk.indices,shards",
});
console.log(response);

GET _cat/allocation?v&s=disk.avail&h=node,disk.percent,disk.avail,disk.total,disk.used,disk.indices,shards

响应将如下所示

node                disk.percent disk.avail disk.total disk.used disk.indices shards
instance-0000000000           91     4.6gb       35gb    31.1gb       29.9gb    111

高水位线配置表明磁盘使用率需要降至 90% 以下。考虑允许一些填充，以便该节点在不久的将来不会超过阈值。在此示例中，让我们释放大约 7GB 的空间。

下一步是列出所有索引并选择要减少的副本。

以下命令按副本数和主存储大小的降序排列索引。我们这样做是为了帮助您选择要减少的副本，假设您拥有的副本越多，如果您删除副本的风险就越小，并且副本越大，释放的空间就越多。这没有考虑到任何功能要求，因此请将其视为纯粹的建议。

resp = client.cat.indices(
    v=True,
    s="rep:desc,pri.store.size:desc",
    h="health,index,pri,rep,store.size,pri.store.size",
)
print(resp)

response = client.cat.indices(
  v: true,
  s: 'rep:desc,pri.store.size:desc',
  h: 'health,index,pri,rep,store.size,pri.store.size'
)
puts response

const response = await client.cat.indices({
  v: "true",
  s: "rep:desc,pri.store.size:desc",
  h: "health,index,pri,rep,store.size,pri.store.size",
});
console.log(response);

GET _cat/indices?v&s=rep:desc,pri.store.size:desc&h=health,index,pri,rep,store.size,pri.store.size

响应将如下所示

health index                                                      pri rep store.size pri.store.size
green  my_index                                                     2   3      9.9gb          3.3gb
green  my_other_index                                               2   3      1.8gb        470.3mb
green  search-products                                              2   3    278.5kb         69.6kb
green  logs-000001                                                  1   0      7.7gb          7.7gb

在上面的列表中，我们看到如果我们将 my_index 和 my_other_index 的索引副本减少到 1，我们将释放所需的磁盘空间。没有必要减少 search-products 的副本，并且 logs-000001 无论如何也没有任何副本。使用索引更新设置 API 减少一个或多个索引的副本

减少索引的副本数可能会降低搜索吞吐量和数据冗余。

resp = client.indices.put_settings(
    index="my_index,my_other_index",
    settings={
        "index.number_of_replicas": 1
    },
)
print(resp)

response = client.indices.put_settings(
  index: 'my_index,my_other_index',
  body: {
    'index.number_of_replicas' => 1
  }
)
puts response

const response = await client.indices.putSettings({
  index: "my_index,my_other_index",
  settings: {
    "index.number_of_replicas": 1,
  },
});
console.log(response);

PUT my_index,my_other_index/_settings
{
  "index.number_of_replicas": 1
}

« 增加数据节点的磁盘容量修复主节点磁盘空间不足 »