连接器可扩展性

编辑

冗余性

编辑

用户可以创建一个具有相同连接器服务设置(设置、代码等)的备份(辅助)服务器。如果运行连接器服务的primary服务器发生故障,用户可以在辅助服务器上启动连接器服务并重新启动同步作业。由于连接器定义和作业状态信息都存储在 Elasticsearch 中,因此在切换服务器时不会丢失或损坏数据。

但是,请注意,任何正在进行的同步都需要从头开始重新启动,无法从中断处恢复。

故障转移

编辑

目前没有自动故障转移或在发生故障时转移工作负载的功能。如果运行连接器服务的服务器发生故障,所有未完成的连接器同步作业都将进入暂停状态。当连接器服务恢复(或启动替换连接器服务)时,它将识别需要清理的任何作业并自动重新启动(从头开始)暂停的作业。

工作负载均衡

编辑

目前,单个同步作业无法跨多个连接器服务部署进行工作负载划分/均衡。一旦连接器服务声明了同步作业,它将运行该作业直至完成——除非连接器服务实例发生故障。在这种情况下,另一个连接器服务实例将接管暂停的作业并重新启动它(从头开始)。

在 8.8.0+ 版本中,当多个连接器服务连接到同一个 Elasticsearch 集群时,连接器服务提供并发控制,并具有以下预期:

  • 可以为给定的搜索索引安排多个同步作业,但任何时候只有一个同步作业可以为一个搜索索引执行。
  • 每个同步作业只能由一个连接器服务声明。
  • 一次只能有一个连接器服务执行管理任务,例如:填充服务类型和配置,验证过滤器等。

水平可扩展性

编辑

如果运行多个连接器服务并配置为通过其service.max_concurrent_syncs设置允许并发同步,则水平扩展可以工作。

理论上,即使我们目前没有明确的负载均衡功能,多个连接器服务也会在某种程度上自然地进行负载均衡。