拆分索引 API

拆分操作

从 N 个分片到 N+1 个分片，即增量重新分片，确实是许多键值存储支持的功能。添加一个新分片并将新数据推送到这个新分片并不是一个选项：这很可能成为索引瓶颈，并且确定文档属于哪个分片（给定其 _id），这对于 get、delete 和 update 请求是必要的，将会变得非常复杂。这意味着我们需要使用不同的哈希方案来重新平衡现有数据。

键值存储有效执行此操作的最常见方式是使用一致哈希。当将分片数从 N 增加到 N+1 时，一致哈希只需要重新定位 1/N-th 的键。然而，Elasticsearch 的存储单元（分片）是 Lucene 索引。由于它们面向搜索的数据结构，因此，获取 Lucene 索引的很大一部分（即使只有 5% 的文档）、删除它们并在另一个分片上建立索引的成本通常比键值存储高得多。当按照上面部分描述的乘法因子增加分片数时，此成本会保持在合理范围内：这允许 Elasticsearch 在本地执行拆分，从而允许在索引级别执行拆分，而不是重新索引需要移动的文档，以及使用硬链接进行高效的文件复制。

在仅附加数据的情况下，可以通过创建一个新索引并将新数据推送到该索引，同时添加一个涵盖旧索引和新索引的别名来进行读取操作，从而获得更大的灵活性。假设旧索引和新索引分别具有 M 和 N 个分片，则这与搜索具有 M+N 个分片的索引相比没有开销。

要将 my_source_index 拆分为名为 my_target_index 的新索引，请发出以下请求

resp = client.indices.split(
    index="my_source_index",
    target="my_target_index",
    settings={
        "index.number_of_shards": 2
    },
)
print(resp)

response = client.indices.split(
  index: 'my_source_index',
  target: 'my_target_index',
  body: {
    settings: {
      'index.number_of_shards' => 2
    }
  }
)
puts response

const response = await client.indices.split({
  index: "my_source_index",
  target: "my_target_index",
  settings: {
    "index.number_of_shards": 2,
  },
});
console.log(response);

POST /my_source_index/_split/my_target_index
{
  "settings": {
    "index.number_of_shards": 2
  }
}

一旦目标索引被添加到集群状态，上述请求将立即返回，它不会等待拆分操作开始。

_split API 类似于 create index API，并接受目标索引的 settings 和 aliases 参数

resp = client.indices.split(
    index="my_source_index",
    target="my_target_index",
    settings={
        "index.number_of_shards": 5
    },
    aliases={
        "my_search_indices": {}
    },
)
print(resp)

response = client.indices.split(
  index: 'my_source_index',
  target: 'my_target_index',
  body: {
    settings: {
      'index.number_of_shards' => 5
    },
    aliases: {
      my_search_indices: {}
    }
  }
)
puts response

const response = await client.indices.split({
  index: "my_source_index",
  target: "my_target_index",
  settings: {
    "index.number_of_shards": 5,
  },
  aliases: {
    my_search_indices: {},
  },
});
console.log(response);

POST /my_source_index/_split/my_target_index
{
  "settings": {
    "index.number_of_shards": 5 
  },
  "aliases": {
    "my_search_indices": {}
  }
}

可以使用 _cat recovery API 监控拆分过程，或者可以使用 cluster health API 通过将 wait_for_status 参数设置为 yellow 来等待所有主分片都被分配。

_split API 在目标索引被添加到集群状态后立即返回，在任何分片被分配之前。此时，所有分片都处于 unassigned 状态。如果由于任何原因无法分配目标索引，则其主分片将保持 unassigned 状态，直到它可以在该节点上分配。

一旦分配了主分片，它将移动到 initializing 状态，并且拆分过程开始。当拆分操作完成时，分片将变为 active。届时，Elasticsearch 将尝试分配任何副本，并可能决定将主分片重新定位到另一个节点。

由于拆分操作会创建一个新索引来拆分分片，因此索引创建上的等待活动分片 设置也适用于拆分索引操作。