- Elasticsearch 指南其他版本
- 8.17 中的新功能
- Elasticsearch 基础
- 快速入门
- 设置 Elasticsearch
- 升级 Elasticsearch
- 索引模块
- 映射
- 文本分析
- 索引模板
- 数据流
- 摄取管道
- 别名
- 搜索您的数据
- 重新排名
- 查询 DSL
- 聚合
- 地理空间分析
- 连接器
- EQL
- ES|QL
- SQL
- 脚本
- 数据管理
- 自动缩放
- 监视集群
- 汇总或转换数据
- 设置高可用性集群
- 快照和还原
- 保护 Elastic Stack 的安全
- Watcher
- 命令行工具
- elasticsearch-certgen
- elasticsearch-certutil
- elasticsearch-create-enrollment-token
- elasticsearch-croneval
- elasticsearch-keystore
- elasticsearch-node
- elasticsearch-reconfigure-node
- elasticsearch-reset-password
- elasticsearch-saml-metadata
- elasticsearch-service-tokens
- elasticsearch-setup-passwords
- elasticsearch-shard
- elasticsearch-syskeygen
- elasticsearch-users
- 优化
- 故障排除
- 修复常见的集群问题
- 诊断未分配的分片
- 向系统中添加丢失的层
- 允许 Elasticsearch 在系统中分配数据
- 允许 Elasticsearch 分配索引
- 索引将索引分配过滤器与数据层节点角色混合,以在数据层之间移动
- 没有足够的节点来分配所有分片副本
- 单个节点上索引的分片总数已超过
- 每个节点的分片总数已达到
- 故障排除损坏
- 修复磁盘空间不足的数据节点
- 修复磁盘空间不足的主节点
- 修复磁盘空间不足的其他角色节点
- 启动索引生命周期管理
- 启动快照生命周期管理
- 从快照恢复
- 故障排除损坏的存储库
- 解决重复的快照策略失败问题
- 故障排除不稳定的集群
- 故障排除发现
- 故障排除监控
- 故障排除转换
- 故障排除 Watcher
- 故障排除搜索
- 故障排除分片容量健康问题
- 故障排除不平衡的集群
- 捕获诊断信息
- REST API
- API 约定
- 通用选项
- REST API 兼容性
- 自动缩放 API
- 行为分析 API
- 紧凑和对齐文本 (CAT) API
- 集群 API
- 跨集群复制 API
- 连接器 API
- 数据流 API
- 文档 API
- 丰富 API
- EQL API
- ES|QL API
- 功能 API
- Fleet API
- 图表探索 API
- 索引 API
- 别名是否存在
- 别名
- 分析
- 分析索引磁盘使用量
- 清除缓存
- 克隆索引
- 关闭索引
- 创建索引
- 创建或更新别名
- 创建或更新组件模板
- 创建或更新索引模板
- 创建或更新索引模板(旧版)
- 删除组件模板
- 删除悬挂索引
- 删除别名
- 删除索引
- 删除索引模板
- 删除索引模板(旧版)
- 存在
- 字段使用情况统计信息
- 刷新
- 强制合并
- 获取别名
- 获取组件模板
- 获取字段映射
- 获取索引
- 获取索引设置
- 获取索引模板
- 获取索引模板(旧版)
- 获取映射
- 导入悬挂索引
- 索引恢复
- 索引段
- 索引分片存储
- 索引统计信息
- 索引模板是否存在(旧版)
- 列出悬挂索引
- 打开索引
- 刷新
- 解析索引
- 解析集群
- 翻转
- 收缩索引
- 模拟索引
- 模拟模板
- 拆分索引
- 解冻索引
- 更新索引设置
- 更新映射
- 索引生命周期管理 API
- 推理 API
- 信息 API
- 摄取 API
- 许可 API
- Logstash API
- 机器学习 API
- 机器学习异常检测 API
- 机器学习数据帧分析 API
- 机器学习训练模型 API
- 迁移 API
- 节点生命周期 API
- 查询规则 API
- 重新加载搜索分析器 API
- 存储库计量 API
- 汇总 API
- 根 API
- 脚本 API
- 搜索 API
- 搜索应用程序 API
- 可搜索快照 API
- 安全 API
- 身份验证
- 更改密码
- 清除缓存
- 清除角色缓存
- 清除权限缓存
- 清除 API 密钥缓存
- 清除服务帐户令牌缓存
- 创建 API 密钥
- 创建或更新应用程序权限
- 创建或更新角色映射
- 创建或更新角色
- 批量创建或更新角色 API
- 批量删除角色 API
- 创建或更新用户
- 创建服务帐户令牌
- 委托 PKI 身份验证
- 删除应用程序权限
- 删除角色映射
- 删除角色
- 删除服务帐户令牌
- 删除用户
- 禁用用户
- 启用用户
- 注册 Kibana
- 注册节点
- 获取 API 密钥信息
- 获取应用程序权限
- 获取内置权限
- 获取角色映射
- 获取角色
- 查询角色
- 获取服务帐户
- 获取服务帐户凭据
- 获取安全设置
- 获取令牌
- 获取用户权限
- 获取用户
- 授予 API 密钥
- 具有权限
- 使 API 密钥失效
- 使令牌失效
- OpenID Connect 准备身份验证
- OpenID Connect 身份验证
- OpenID Connect 注销
- 查询 API 密钥信息
- 查询用户
- 更新 API 密钥
- 更新安全设置
- 批量更新 API 密钥
- SAML 准备身份验证
- SAML 身份验证
- SAML 注销
- SAML 失效
- SAML 完成注销
- SAML 服务提供商元数据
- SSL 证书
- 激活用户配置文件
- 禁用用户配置文件
- 启用用户配置文件
- 获取用户配置文件
- 建议用户配置文件
- 更新用户配置文件数据
- 具有用户配置文件权限
- 创建跨集群 API 密钥
- 更新跨集群 API 密钥
- 快照和还原 API
- 快照生命周期管理 API
- SQL API
- 同义词 API
- 文本结构 API
- 转换 API
- 使用情况 API
- Watcher API
- 定义
- 迁移指南
- 发行说明
- Elasticsearch 版本 8.17.0
- Elasticsearch 版本 8.16.1
- Elasticsearch 版本 8.16.0
- Elasticsearch 版本 8.15.5
- Elasticsearch 版本 8.15.4
- Elasticsearch 版本 8.15.3
- Elasticsearch 版本 8.15.2
- Elasticsearch 版本 8.15.1
- Elasticsearch 版本 8.15.0
- Elasticsearch 版本 8.14.3
- Elasticsearch 版本 8.14.2
- Elasticsearch 版本 8.14.1
- Elasticsearch 版本 8.14.0
- Elasticsearch 版本 8.13.4
- Elasticsearch 版本 8.13.3
- Elasticsearch 版本 8.13.2
- Elasticsearch 版本 8.13.1
- Elasticsearch 版本 8.13.0
- Elasticsearch 版本 8.12.2
- Elasticsearch 版本 8.12.1
- Elasticsearch 版本 8.12.0
- Elasticsearch 版本 8.11.4
- Elasticsearch 版本 8.11.3
- Elasticsearch 版本 8.11.2
- Elasticsearch 版本 8.11.1
- Elasticsearch 版本 8.11.0
- Elasticsearch 版本 8.10.4
- Elasticsearch 版本 8.10.3
- Elasticsearch 版本 8.10.2
- Elasticsearch 版本 8.10.1
- Elasticsearch 版本 8.10.0
- Elasticsearch 版本 8.9.2
- Elasticsearch 版本 8.9.1
- Elasticsearch 版本 8.9.0
- Elasticsearch 版本 8.8.2
- Elasticsearch 版本 8.8.1
- Elasticsearch 版本 8.8.0
- Elasticsearch 版本 8.7.1
- Elasticsearch 版本 8.7.0
- Elasticsearch 版本 8.6.2
- Elasticsearch 版本 8.6.1
- Elasticsearch 版本 8.6.0
- Elasticsearch 版本 8.5.3
- Elasticsearch 版本 8.5.2
- Elasticsearch 版本 8.5.1
- Elasticsearch 版本 8.5.0
- Elasticsearch 版本 8.4.3
- Elasticsearch 版本 8.4.2
- Elasticsearch 版本 8.4.1
- Elasticsearch 版本 8.4.0
- Elasticsearch 版本 8.3.3
- Elasticsearch 版本 8.3.2
- Elasticsearch 版本 8.3.1
- Elasticsearch 版本 8.3.0
- Elasticsearch 版本 8.2.3
- Elasticsearch 版本 8.2.2
- Elasticsearch 版本 8.2.1
- Elasticsearch 版本 8.2.0
- Elasticsearch 版本 8.1.3
- Elasticsearch 版本 8.1.2
- Elasticsearch 版本 8.1.1
- Elasticsearch 版本 8.1.0
- Elasticsearch 版本 8.0.1
- Elasticsearch 版本 8.0.0
- Elasticsearch 版本 8.0.0-rc2
- Elasticsearch 版本 8.0.0-rc1
- Elasticsearch 版本 8.0.0-beta1
- Elasticsearch 版本 8.0.0-alpha2
- Elasticsearch 版本 8.0.0-alpha1
- 依赖项和版本
大型集群的弹性
编辑大型集群的弹性
编辑节点共享通用基础设施(如网络互连或电源)的情况并不少见。如果是这样,您应该计划好这些基础设施的故障,并确保这种故障不会影响过多的节点。常见的做法是将共享某些基础设施的所有节点分组到区域中,并计划一次性处理任何整个区域的故障。
Elasticsearch 希望节点到节点的连接是可靠的、具有低延迟和足够的带宽。许多 Elasticsearch 任务需要在节点之间进行多次往返。缓慢或不可靠的互连可能会对集群的性能和稳定性产生重大影响。
例如,每次往返增加几毫秒的延迟会迅速累积成明显的性能损失。不可靠的网络可能会频繁出现网络分区。Elasticsearch 会自动从网络分区中尽快恢复,但在分区期间,您的集群可能部分不可用,并且需要花费时间和资源来重新同步任何丢失的数据,并在分区恢复后重新平衡自身。从故障中恢复可能需要在节点之间复制大量数据,因此恢复时间通常由可用带宽决定。
如果您已将集群划分为多个区域,则每个区域内的网络连接通常比区域之间的连接质量更高。确保区域之间的网络连接质量足够高。通过将所有区域都置于一个数据中心内,并且每个区域都拥有独立的电源和其他支持基础设施,您将获得最佳结果。您也可以将集群扩展到附近的数据中心,只要每个数据中心对之间的网络互连足够好即可。
运行健康的 Elasticsearch 集群没有特定的最低网络性能要求。理论上,即使节点之间的往返延迟为几百毫秒,集群也能正常工作。实际上,如果您的网络如此缓慢,则集群性能将非常差。此外,缓慢的网络通常不可靠,足以导致网络分区,从而导致一段时间的不可用。
如果您希望数据在距离较远或连接不良的多个数据中心中可用,请在每个数据中心中部署一个单独的集群,并使用跨集群搜索或跨集群复制将集群链接在一起。即使集群到集群的连接不如每个集群内的网络可靠或性能强,这些功能也旨在良好运行。
在丢失整个区域的节点后,设计合理的集群可能仍然可以运行,但容量会显著降低。您可能需要配置额外的节点,以便在处理此类故障时恢复集群中可接受的性能。
为了抵御整个区域的故障,重要的是每个分片在多个区域中都有副本,这可以通过将数据节点放置在多个区域中并配置分片分配感知来实现。您还应确保客户端请求被发送到多个区域中的节点。
您应该考虑所有节点角色,并确保每个角色在两个或多个区域之间冗余拆分。例如,如果您正在使用Ingest 管道或机器学习,则应在两个或多个区域中具有 ingest 或机器学习节点。但是,有资格成为主节点的节点的放置需要更加小心,因为一个具有弹性的集群需要至少三个有资格成为主节点的节点中的两个才能正常运行。以下部分探讨了在多个区域中放置有资格成为主节点的节点的选项。
双区域集群
编辑如果您有两个区域,则每个区域中应该具有不同数量的有资格成为主节点的节点,以便具有更多节点的区域将包含它们的大多数,并且能够在另一个区域丢失后继续生存。例如,如果您有三个有资格成为主节点的节点,则可以将它们全部放置在一个区域中,或者可以将两个放置在一个区域中,第三个放置在另一个区域中。您不应在每个区域中放置相同数量的有资格成为主节点的节点。如果您在每个区域中放置相同数量的有资格成为主节点的节点,则两个区域都没有自己的多数节点。因此,集群可能无法在丢失任何一个区域后继续生存。
带有仲裁器的双区域集群
编辑上述双区域部署可以容忍其中一个区域的丢失,但不能容忍另一个区域的丢失,因为主节点选举是基于多数的。您无法配置一个双区域集群,使其能够容忍任何一个区域的丢失,因为这在理论上是不可能的。您可能期望,如果任何一个区域发生故障,Elasticsearch 可以从剩余区域中选择一个节点作为主节点,但是无法区分远程区域的故障和区域之间仅有的连接丢失。如果两个区域都能够运行独立的选举,则连接丢失将导致脑裂问题,从而导致数据丢失。Elasticsearch 通过不从任何一个区域中选举节点作为主节点来避免这种情况并保护您的数据,直到该节点可以确定它具有最新的集群状态并且集群中没有其他主节点。这可能意味着在连接恢复之前根本没有主节点。
您可以通过在两个区域中的每个区域中放置一个有资格成为主节点的节点,并在独立的第三个区域中添加一个额外的有资格成为主节点的节点来解决此问题。当两个原始区域彼此断开连接时,额外的有资格成为主节点的节点充当仲裁器。额外的仲裁器节点应是一个专用的仅投票的符合主节点资格的节点,也称为专用仲裁器。专用仲裁器不需要像其他两个节点那样强大,因为它没有其他角色,也不会执行任何搜索或协调任何客户端请求,也不会被选举为集群的主节点。
您应该使用分片分配感知来确保每个区域中都有每个分片的副本。这意味着如果另一个区域发生故障,任何一个区域都将保持完全可用。
所有符合主节点资格的节点(包括仅投票的节点)都位于发布集群状态更新的关键路径上。集群状态更新通常独立于性能关键型工作负载(例如索引或搜索),但它们参与诸如索引创建和回滚、映射更新以及故障后的恢复等管理活动。这些活动的性能特征是每个符合主节点资格的节点上存储速度以及集群中所有节点之间的网络互连的可靠性和延迟的函数。因此,您必须确保集群中节点可用的存储和网络足以满足您的性能目标。
具有三个或多个区域的集群
编辑如果您有三个区域,则应在每个区域中有一个符合主节点资格的节点。如果您有三个以上的区域,则应选择其中三个区域,并在每个这三个区域中放置一个符合主节点资格的节点。这意味着即使其中一个区域发生故障,集群仍然可以选择一个主节点。
与往常一样,除非它们是可搜索快照索引,否则您的索引应至少有一个副本,以防节点发生故障。您还应使用分片分配感知来限制每个区域中每个分片的副本数。例如,如果您的索引配置了一个或两个副本,则分配感知将确保分片的副本与主分片位于不同的区域中。这意味着如果一个区域发生故障,每个分片的副本仍然可用。此分片的可用性不会受到此类故障的影响。
摘要
编辑只要满足以下条件,集群将可以弹性地应对任何区域的丢失
- 集群运行状况状态为
green
。 - 至少有两个包含数据节点的区域。
- 除了主分片外,每个不是可搜索快照索引的索引,其每个分片都至少有一个副本。
- 配置分片分配感知,以避免将分片的所有副本集中在单个区域内。
- 集群至少有三个有资格成为主节点的节点。这些节点中至少有两个不是仅投票的符合主节点资格的节点,并且它们均匀分布在至少三个区域中。
- 客户端配置为将其请求发送到多个可用区域中的节点,或者配置为使用负载均衡器,该负载均衡器在适当的节点集中平衡请求。Elastic Cloud 服务提供这样的负载均衡器。
On this page