连接器已知问题

同步大型数据库表时出现 OOM 错误

在同步大型数据库表时，初始同步后的同步可能会导致内存不足 (OOM) 错误。发生这种情况的原因是数据库连接器将 ID 加载并存储在内存中。对于具有数百万条记录的表，如果连接器服务的 RAM 不足，则可能会导致内存耗尽。

为了缓解此问题，您可以

从运行早于 8.9.0 版本的部署升级可能会导致同步作业失败

由于一个错误，从运行早于 8.9.0 版本的部署升级后，将缺少 job_type 字段映射。同步作业将不会显示在 Kibana UI（作业历史记录）中，并且连接器服务将无法启动新的同步作业。仅当您之前安排了同步作业时，才会发生这种情况。

要解决此问题，您可以手动添加缺少的字段并使用以下命令触发同步作业

resp = client.indices.put_mapping(
    index=".elastic-connectors-sync-jobs-v1",
    properties={
        "job_type": {
            "type": "keyword"
        }
    },
)
print(resp)

const response = await client.indices.putMapping({
  index: ".elastic-connectors-sync-jobs-v1",
  properties: {
    job_type: {
      type: "keyword",
    },
  },
});
console.log(response);

PUT .elastic-connectors-sync-jobs-v1/_mapping
{
  "properties": {
    "job_type": {
      "type": "keyword"
    }
  }
}

当连接器尝试从数据源提取超过 2,147,483,647 (2^31-1) 个文档时，连接器服务将无法同步

一种解决方法是使用多个搜索索引手动对要同步的数据进行分区。

从 8.6 或更早版本升级时，自定义计划可能会中断。

如果您遇到错误 'custom_schedule_triggered': undefined method 'each' for nil:NilClass (NoMethodError)，则表示自定义计划功能迁移失败。您可以使用以下手动解决方法

resp = client.update(
    index=".elastic-connectors",
    id="connector-id",
    doc={
        "custom_scheduling": {}
    },
)
print(resp)

const response = await client.update({
  index: ".elastic-connectors",
  id: "connector-id",
  doc: {
    custom_scheduling: {},
  },
});
console.log(response);

POST /.elastic-connectors/_update/connector-id
{
  "doc": {
    "custom_scheduling": {}
  }
}

此错误可能会出现在不是问题原因的连接器或爬虫上。如果错误仍然存在，请尝试对 .elastic-connectors 索引中的每个文档运行上述命令。

从 8.7 或更早版本升级的连接器可能会缺少配置字段

在 8.8 之前创建的连接器有时可能会缺少配置字段。这是 MySQL 连接器的已知问题，但也可能影响其他连接器。

如果自管理连接器引发错误 Connector for <connector_id> has missing configuration fields: <field_a>, <field_b>...，您可以通过 Dev Tools 手动添加缺少的配置字段来解决该错误。只需要以下两个字段属性，其余的将由自管理连接器自动填充

从 8.7.1 升级的 Python 连接器将以千兆字节 (GB) 而不是兆字节 (MB) 为单位报告文档量

因此，真实文档量将少报 1024 倍。

以下 Elastic 托管连接器在 Elastic Cloud 8.9.0 中将无法正常运行。它们仍然可用作自管理连接器。