转换检查点的工作原理

每次转换检查源索引并创建或更新目标索引时，它都会生成一个检查点。

如果您的转换只运行一次，则逻辑上只有一个检查点。但是，如果您的转换持续运行，它会在摄取和转换新的源数据时创建检查点。转换配置的 sync 属性通过指定时间字段来配置检查点。

要创建检查点，连续转换会执行以下操作：

此检查点过程涉及集群上的搜索和索引活动。我们在开发转换时尝试优先考虑控制而不是性能。我们认为，转换花更长的时间完成，而不是快速完成并优先占用资源是更好的。也就是说，集群仍然需要足够的资源来支持复合聚合搜索及其结果的索引。

在大多数情况下，强烈建议使用源索引的摄取时间戳来同步转换。这是转换能够识别新更改的最优方式。如果您的数据源遵循 ECS 标准，您可能已经有一个 event.ingested 字段。在这种情况下，请使用 event.ingested 作为转换的 sync.time.field 属性。

如果您没有 event.ingested 字段或该字段未填充，您可以使用摄取管道设置它。使用 摄取管道 API（如下例所示）或通过 Kibana 在 堆栈管理 > 摄取管道下创建摄取管道。使用 set 处理器设置该字段并将其与摄取时间戳的值关联。

resp = client.ingest.put_pipeline(
    id="set_ingest_time",
    description="Set ingest timestamp.",
    processors=[
        {
            "set": {
                "field": "event.ingested",
                "value": "{{{_ingest.timestamp}}}"
            }
        }
    ],
)
print(resp)

response = client.ingest.put_pipeline(
  id: 'set_ingest_time',
  body: {
    description: 'Set ingest timestamp.',
    processors: [
      {
        set: {
          field: 'event.ingested',
          value: '{{{_ingest.timestamp}}}'
        }
      }
    ]
  }
)
puts response

const response = await client.ingest.putPipeline({
  id: "set_ingest_time",
  description: "Set ingest timestamp.",
  processors: [
    {
      set: {
        field: "event.ingested",
        value: "{{{_ingest.timestamp}}}",
      },
    },
  ],
});
console.log(response);

PUT _ingest/pipeline/set_ingest_time
{
  "description": "Set ingest timestamp.",
  "processors": [
    {
      "set": {
        "field": "event.ingested",
        "value": "{{{_ingest.timestamp}}}"
      }
    }
  ]
}

创建摄取管道后，将其应用于转换的源索引。管道将字段 event.ingested 添加到每个文档，其值为摄取时间戳。配置转换的 sync.time.field 属性以使用该字段，方法是为新转换使用 创建转换 API，或为现有转换使用 更新转换 API。event.ingested 字段用于同步转换。

请参阅 向索引请求添加管道 和 摄取管道，了解有关如何使用摄取管道的更多信息。

当转换以连续模式运行时，它会在新数据传入时更新目标索引中的文档。转换使用一组称为更改检测的启发式方法来更新目标索引，操作次数更少。

在此示例中，数据按主机名分组。更改检测会检测哪些主机名已更改，例如，主机 A、C 和 G，并且仅更新包含这些主机的文档，但不更新存储有关主机 B、D 或任何其他未更改的主机的信息的文档。

当使用 date_histogram 按时间桶分组时，可以对时间桶应用另一个启发式方法。更改检测会检测哪些时间桶已更改，并且仅更新这些时间桶。

转换中的故障往往与搜索或索引相关。为了提高转换的弹性，聚合搜索的游标位置和已更改实体搜索的游标位置在内存中跟踪并定期持久化。

检查点故障可以分为以下几类：

如果运行转换的节点失败，则转换会从最近持久化的游标位置重新启动。此恢复过程可能会重复转换已经完成的一些工作，但这可以确保数据一致性。