大型集群的弹性
编辑大型集群的弹性
编辑节点共享通用基础设施（如网络互连或电源）的情况并不少见。如果是这样，您应该计划好这些基础设施的故障，并确保这种故障不会影响过多的节点。常见的做法是将共享某些基础设施的所有节点分组到区域中，并计划一次性处理任何整个区域的故障。
Elasticsearch 希望节点到节点的连接是可靠的、具有低延迟和足够的带宽。许多 Elasticsearch 任务需要在节点之间进行多次往返。缓慢或不可靠的互连可能会对集群的性能和稳定性产生重大影响。
例如，每次往返增加几毫秒的延迟会迅速累积成明显的性能损失。不可靠的网络可能会频繁出现网络分区。Elasticsearch 会自动从网络分区中尽快恢复，但在分区期间，您的集群可能部分不可用，并且需要花费时间和资源来重新同步任何丢失的数据，并在分区恢复后重新平衡自身。从故障中恢复可能需要在节点之间复制大量数据，因此恢复时间通常由可用带宽决定。
如果您已将集群划分为多个区域，则每个区域内的网络连接通常比区域之间的连接质量更高。确保区域之间的网络连接质量足够高。通过将所有区域都置于一个数据中心内，并且每个区域都拥有独立的电源和其他支持基础设施，您将获得最佳结果。您也可以将集群扩展到附近的数据中心，只要每个数据中心对之间的网络互连足够好即可。
运行健康的 Elasticsearch 集群没有特定的最低网络性能要求。理论上，即使节点之间的往返延迟为几百毫秒，集群也能正常工作。实际上，如果您的网络如此缓慢，则集群性能将非常差。此外，缓慢的网络通常不可靠，足以导致网络分区，从而导致一段时间的不可用。
如果您希望数据在距离较远或连接不良的多个数据中心中可用，请在每个数据中心中部署一个单独的集群，并使用跨集群搜索或跨集群复制将集群链接在一起。即使集群到集群的连接不如每个集群内的网络可靠或性能强，这些功能也旨在良好运行。
在丢失整个区域的节点后，设计合理的集群可能仍然可以运行，但容量会显著降低。您可能需要配置额外的节点，以便在处理此类故障时恢复集群中可接受的性能。
为了抵御整个区域的故障，重要的是每个分片在多个区域中都有副本，这可以通过将数据节点放置在多个区域中并配置分片分配感知来实现。您还应确保客户端请求被发送到多个区域中的节点。
您应该考虑所有节点角色，并确保每个角色在两个或多个区域之间冗余拆分。例如，如果您正在使用Ingest 管道或机器学习，则应在两个或多个区域中具有 ingest 或机器学习节点。但是，有资格成为主节点的节点的放置需要更加小心，因为一个具有弹性的集群需要至少三个有资格成为主节点的节点中的两个才能正常运行。以下部分探讨了在多个区域中放置有资格成为主节点的节点的选项。
双区域集群
编辑如果您有两个区域，则每个区域中应该具有不同数量的有资格成为主节点的节点，以便具有更多节点的区域将包含它们的大多数，并且能够在另一个区域丢失后继续生存。例如，如果您有三个有资格成为主节点的节点，则可以将它们全部放置在一个区域中，或者可以将两个放置在一个区域中，第三个放置在另一个区域中。您不应在每个区域中放置相同数量的有资格成为主节点的节点。如果您在每个区域中放置相同数量的有资格成为主节点的节点，则两个区域都没有自己的多数节点。因此，集群可能无法在丢失任何一个区域后继续生存。
带有仲裁器的双区域集群
编辑上述双区域部署可以容忍其中一个区域的丢失，但不能容忍另一个区域的丢失，因为主节点选举是基于多数的。您无法配置一个双区域集群，使其能够容忍任何一个区域的丢失，因为这在理论上是不可能的。您可能期望，如果任何一个区域发生故障，Elasticsearch 可以从剩余区域中选择一个节点作为主节点，但是无法区分远程区域的故障和区域之间仅有的连接丢失。如果两个区域都能够运行独立的选举，则连接丢失将导致脑裂问题，从而导致数据丢失。Elasticsearch 通过不从任何一个区域中选举节点作为主节点来避免这种情况并保护您的数据，直到该节点可以确定它具有最新的集群状态并且集群中没有其他主节点。这可能意味着在连接恢复之前根本没有主节点。
您可以通过在两个区域中的每个区域中放置一个有资格成为主节点的节点，并在独立的第三个区域中添加一个额外的有资格成为主节点的节点来解决此问题。当两个原始区域彼此断开连接时，额外的有资格成为主节点的节点充当仲裁器。额外的仲裁器节点应是一个专用的仅投票的符合主节点资格的节点，也称为专用仲裁器。专用仲裁器不需要像其他两个节点那样强大，因为它没有其他角色，也不会执行任何搜索或协调任何客户端请求，也不会被选举为集群的主节点。
您应该使用分片分配感知来确保每个区域中都有每个分片的副本。这意味着如果另一个区域发生故障，任何一个区域都将保持完全可用。
所有符合主节点资格的节点（包括仅投票的节点）都位于发布集群状态更新的关键路径上。集群状态更新通常独立于性能关键型工作负载（例如索引或搜索），但它们参与诸如索引创建和回滚、映射更新以及故障后的恢复等管理活动。这些活动的性能特征是每个符合主节点资格的节点上存储速度以及集群中所有节点之间的网络互连的可靠性和延迟的函数。因此，您必须确保集群中节点可用的存储和网络足以满足您的性能目标。
具有三个或多个区域的集群
编辑如果您有三个区域，则应在每个区域中有一个符合主节点资格的节点。如果您有三个以上的区域，则应选择其中三个区域，并在每个这三个区域中放置一个符合主节点资格的节点。这意味着即使其中一个区域发生故障，集群仍然可以选择一个主节点。
与往常一样，除非它们是可搜索快照索引，否则您的索引应至少有一个副本，以防节点发生故障。您还应使用分片分配感知来限制每个区域中每个分片的副本数。例如，如果您的索引配置了一个或两个副本，则分配感知将确保分片的副本与主分片位于不同的区域中。这意味着如果一个区域发生故障，每个分片的副本仍然可用。此分片的可用性不会受到此类故障的影响。
摘要
编辑只要满足以下条件，集群将可以弹性地应对任何区域的丢失
- 集群运行状况状态为
green。 - 至少有两个包含数据节点的区域。
- 除了主分片外，每个不是可搜索快照索引的索引，其每个分片都至少有一个副本。
- 配置分片分配感知，以避免将分片的所有副本集中在单个区域内。
- 集群至少有三个有资格成为主节点的节点。这些节点中至少有两个不是仅投票的符合主节点资格的节点，并且它们均匀分布在至少三个区域中。
- 客户端配置为将其请求发送到多个可用区域中的节点，或者配置为使用负载均衡器，该负载均衡器在适当的节点集中平衡请求。Elastic Cloud 服务提供这样的负载均衡器。