大型集群的弹性
编辑大型集群的弹性
编辑节点共享公共基础设施（例如网络互连或电源）的情况并不少见。如果是这样，您应该计划此基础设施发生故障，并确保此类故障不会影响太多节点。常见的做法是将共享某些基础设施的所有节点分组到区域中，并计划任何整个区域同时发生故障。
Elasticsearch 期望节点之间的连接可靠、延迟低且带宽充足。许多 Elasticsearch 任务需要节点之间进行多次往返。缓慢或不可靠的互连可能会对集群的性能和稳定性产生重大影响。
例如，每次往返增加几毫秒的延迟很快就会累积成明显的性能下降。不可靠的网络可能会出现频繁的网络分区。Elasticsearch 将自动尽快从网络分区中恢复，但您的集群在分区期间可能部分不可用，并且需要花费时间和资源来重新同步任何丢失的数据并重新平衡自身，一旦分区恢复。从故障中恢复可能涉及在节点之间复制大量数据，因此恢复时间通常取决于可用带宽。
如果您已将集群划分为多个区域，则每个区域内的网络连接通常比区域之间的连接质量更高。确保区域之间的网络连接质量足够高。将所有区域都放在一个数据中心内，每个区域都有自己的独立电源和其他支持基础设施，您将获得最佳结果。您还可以将集群扩展到附近的多个数据中心，只要每个数据中心对之间网络互连足够好。
运行健康的 Elasticsearch 集群没有特定的最低网络性能要求。理论上，即使节点之间的往返延迟为几百毫秒，集群也能正常工作。实际上，如果您的网络速度如此缓慢，则集群性能会非常差。此外，缓慢的网络通常不够可靠，会导致网络分区，从而导致一段时间内无法使用。
如果希望数据在距离较远或连接不良的多个数据中心中可用，请在每个数据中心部署一个单独的集群，并使用跨集群搜索或跨集群复制将这些集群连接在一起。即使集群之间的连接不如每个集群内的网络可靠或性能良好，这些功能也设计为能够良好地执行。
在丢失整个区域的节点后，经过适当设计的集群可能仍能正常运行，但容量会显著降低。在处理此类故障时，您可能需要配置额外的节点以恢复集群的可接受性能。
为了抵御整个区域故障，重要的是每个分片在多个区域中都有一份副本，这可以通过将数据节点放置在多个区域中并配置分片分配感知来实现。您还应该确保客户端请求发送到多个区域中的节点。
您应该考虑所有节点角色，并确保每个角色都在两个或更多区域中冗余拆分。例如，如果您使用摄取管道或机器学习，则应在两个或更多区域中拥有摄取或机器学习节点。但是，主节点的放置需要多加注意，因为弹性集群需要至少三个主节点中的两个才能正常运行。以下部分探讨了跨多个区域放置主节点的选项。
双区域集群
编辑如果您有两个区域，则每个区域应该有不同数量的主节点，以便节点数量较多的区域包含大多数主节点，并能够在另一个区域丢失时继续运行。例如，如果您有三个主节点，则可以将它们全部放在一个区域中，或者可以将两个放在一个区域中，第三个放在另一个区域中。您不应在每个区域中放置相同数量的主节点。如果在每个区域中放置相同数量的主节点，则任何一个区域都没有多数节点。因此，集群可能无法在任何一个区域丢失时继续运行。
带仲裁节点的双区域集群
编辑上面描述的双区域部署可以容忍其中一个区域丢失，但不能容忍另一个区域丢失，因为主节点选举是基于多数原则的。您无法配置双区域集群以使其能够容忍任何一个区域丢失，因为这在理论上是不可能的。您可能期望如果任何一个区域发生故障，则 Elasticsearch 可以从剩余区域中选举一个节点作为主节点，但无法区分远程区域发生故障与区域之间连接丢失。如果两个区域都能够运行独立的选举，则连接丢失会导致脑裂问题，从而导致数据丢失。Elasticsearch 避免这种情况并通过不从任何一个区域选举节点作为主节点来保护您的数据，直到该节点可以确定它拥有最新的集群状态，并且集群中没有其他主节点。这意味着在连接恢复之前，可能根本没有主节点。
您可以通过在两个区域中的每个区域中放置一个主节点，并在独立的第三个区域中添加一个额外的主节点来解决此问题。额外的主节点充当两个原始区域彼此断开连接时的仲裁节点。额外的仲裁节点应为专用的仅投票主节点，也称为专用的仲裁节点。专用的仲裁节点不需要像其他两个节点那样强大，因为它没有其他角色，也不会执行任何搜索或协调任何客户端请求，也不会被选为主节点。
您应该使用分片分配感知来确保每个区域中都有每个分片的副本。这意味着如果另一个区域发生故障，任何一个区域都将保持完全可用。
所有主节点，包括仅投票节点，都位于发布集群状态更新的关键路径上。集群状态更新通常独立于性能关键型工作负载（如索引或搜索），但它们参与管理活动，例如索引创建和滚动、映射更新以及故障后的恢复。这些活动的性能特征是每个主节点存储速度以及集群中所有节点之间网络互连的可靠性和延迟的函数。因此，您必须确保集群中节点可用的存储和网络能够满足您的性能目标。
三个或更多区域的集群
编辑如果您有三个区域，则每个区域应该有一个主节点。如果您有三个以上的区域，则应选择三个区域，并在这三个区域中的每个区域中放置一个主节点。这意味着即使其中一个区域发生故障，集群仍然可以选举一个主节点。
与往常一样，您的索引应该至少有一个副本以防节点发生故障，除非它们是可搜索快照索引。您还应该使用分片分配感知来限制每个区域中每个分片的副本数量。例如，如果您配置了一个或两个副本的索引，则分配感知将确保分片的副本位于与主分片不同的区域中。这意味着如果一个区域发生故障，每个分片的副本仍然可用。此分片的可用性不会受到此类故障的影响。
总结
编辑只要满足以下条件，集群就能抵御任何区域丢失的影响
- 集群健康状态为
绿色。 - 至少有两个区域包含数据节点。
- 除了主分片外，每个不是可搜索快照索引的索引都至少有一个分片副本。
- 分片分配感知配置为避免将所有分片副本集中在一个区域中。
- 集群至少具有三个主节点候选节点。其中至少两个节点不是仅投票的主节点候选节点，并且它们均匀分布在至少三个区域中。
- 客户端配置为将其请求发送到多个区域中的节点，或者配置为使用负载均衡器在合适的节点集中平衡请求。Elastic Cloud 服务提供了这样的负载均衡器。