连接器可扩展性
编辑连接器可扩展性
编辑冗余
编辑用户可以创建一个具有相同连接器服务设置(设置、代码等)的备份(辅助)服务器。如果运行连接器服务的主服务器发生故障,用户可以在辅助服务器上启动连接器服务并重新启动同步作业。由于连接器定义和作业状态信息都存储在 Elasticsearch 中,因此在切换服务器时不会有数据丢失或损坏的风险。
但是,请注意,任何正在进行的同步都需要从头开始重新启动,并且无法从中断的位置恢复。
故障转移
编辑目前,如果发生故障,则没有自动故障转移或工作负载转移。如果运行连接器服务的服务器发生故障,所有未完成的连接器同步作业都将进入挂起状态。当连接器服务恢复(或者如果启动了替换连接器服务)时,它将识别任何需要清理的作业,并自动(从头开始)重新启动挂起的作业。
工作负载均衡
编辑目前,对于单个同步作业,没有跨多个连接器服务部署划分/平衡工作负载。一旦同步作业被连接器服务声明,它将运行该作业直到完成 - 除非连接器服务实例发生故障。在这种情况下,另一个连接器服务实例将接收挂起的作业并重新启动它(从头开始)。
在 8.8.0+ 版本中,当有多个连接器服务连接到同一个 Elasticsearch 集群时,连接器服务提供并发控制,并具有以下期望:
- 可以为给定的搜索索引安排多个同步作业,但在任何单个时间只能为一个搜索索引执行 1 个同步作业。
- 每个同步作业只能由 1 个连接器服务声明。
- 一次只能有 1 个连接器服务执行管理任务,例如:填充服务类型和配置、验证过滤器等。
水平扩展
编辑如果运行多个连接器服务,并且配置为允许通过其 service.max_concurrent_syncs
设置进行并发同步,则水平扩展可以工作。
假设,尽管我们目前没有明确的负载均衡功能,但多个连接器服务在某种程度上自然会进行负载均衡。