时间序列数据流 (TSDS)

时间序列数据流 (TSDS) 将带有时间戳的指标数据建模为一个或多个时间序列。

您可以使用 TSDS 更有效地存储指标数据。在我们的基准测试中，存储在 TSDS 中的指标数据比常规数据流使用的磁盘空间少 70%。确切的影响将因数据集而异。

常规数据流和 TSDS 都可以存储带有时间戳的指标数据。仅当您通常以接近实时的速度和 @timestamp 顺序将指标数据添加到 Elasticsearch 时才使用 TSDS。

TSDS 仅用于指标数据。对于其他带有时间戳的数据，例如日志或追踪，请使用日志数据流或常规数据流。

TSDS 的工作方式类似于常规数据流，但有一些关键区别

时间序列是特定实体的观察序列。这些观察结果一起使您可以跟踪实体随时间的变化。例如，时间序列可以跟踪

图 3. 气象传感器读数的时间序列绘制为图形

在 TSDS 中，每个 Elasticsearch 文档都代表特定时间序列中的观察值或数据点。尽管 TSDS 可以包含多个时间序列，但一个文档只能属于一个时间序列。时间序列不能跨越多个数据流。

维度是字段名称和值，它们组合在一起标识文档的时间序列。在大多数情况下，维度描述您正在测量的实体的某些方面。例如，与同一气象传感器相关的文档可能始终具有相同的 sensor_id 和 location 值。

TSDS 文档由其时间序列和时间戳唯一标识，两者都用于生成文档 _id。因此，具有相同维度和相同时间戳的两个文档被认为是重复的。当您使用 _bulk 端点将文档添加到 TSDS 时，具有相同时间戳和维度的第二个文档会覆盖第一个文档。当您使用 PUT /<target>/_create/<_id> 格式添加单个文档，并且已存在具有相同 _id 的文档时，会生成错误。

您可以使用布尔值 time_series_dimension 映射参数将字段标记为维度。以下字段类型支持 time_series_dimension 参数

对于扁平化字段，请使用 time_series_dimensions 参数将字段数组配置为维度。有关详细信息，请参阅flattened。

维度定义可以通过直通字段进行简化。

指标是包含数值度量以及基于这些度量的聚合和/或下采样值的字段。尽管不是必需的，但 TSDS 中的文档通常包含一个或多个指标字段。

指标与维度不同，因为维度通常保持不变，而指标则期望随时间变化，即使很少或缓慢地变化。

要将字段标记为指标，您必须使用 time_series_metric 映射参数指定指标类型。以下字段类型支持 time_series_metric 参数

接受的指标类型因字段类型而异

TSDS 的匹配索引模板必须包含带有 index_mode: time_series 选项的 data_stream 对象。此选项确保 TSDS 创建的后备索引的 index.mode 设置为 time_series。此设置启用后备索引中的大多数 TSDS 相关功能。

如果您将现有数据流转换为 TSDS，则只有转换后创建的后备索引的 index.mode 为 time_series。您无法更改现有后备索引的 index.mode。

当您将文档添加到 TSDS 时，Elasticsearch 会自动为该文档生成 _tsid 元数据字段。_tsid 是一个包含文档维度的对象。具有相同 _tsid 的同一 TSDS 中的文档是同一时间序列的一部分。

_tsid 字段不可查询或更新。您也无法使用 获取文档请求来检索文档的 _tsid。但是，您可以在聚合中使用 _tsid 字段，并使用fields 参数在搜索中检索 _tsid 值。

在 TSDS 中，每个后备索引（包括最近的后备索引）都有一个可接受的 @timestamp 值范围。此范围由 index.time_series.start_time 和 index.time_series.end_time 索引设置定义。

当您将文档添加到 TSDS 时，Elasticsearch 会根据其 @timestamp 值将文档添加到相应的后备索引。因此，TSDS 可以将文档添加到任何可以接收写入的 TSDS 后备索引。即使索引不是最新的后备索引，这也适用。

如果没有任何后备索引可以接受文档的 @timestamp 值，则 Elasticsearch 将拒绝该文档。

Elasticsearch 会在索引创建和滚动过程中自动配置 index.time_series.start_time 和 index.time_series.end_time 设置。

使用 index.look_ahead_time 索引设置来配置可以将文档添加到索引的未来时间。当您为 TSDS 创建新的写入索引时，Elasticsearch 会将索引的 index.time_series.end_time 值计算为

现在 + index.look_ahead_time

在时间序列轮询间隔（由 time_series.poll_interval 设置控制）时，Elasticsearch 会检查写入索引是否已满足其索引生命周期策略中的滚动条件。如果没有，Elasticsearch 将刷新 now 值，并将写入索引的 index.time_series.end_time 更新为

now + index.look_ahead_time + time_series.poll_interval

此过程将持续到写入索引滚动。当索引滚动时，Elasticsearch 会为索引设置最终的 index.time_series.end_time 值。此值与新写入索引的 index.time_series.start_time 相邻。这确保了相邻的后备索引的 @timestamp 范围始终相邻但不重叠。

使用 index.look_back_time 索引设置来配置您可以向索引添加文档的过去时间。当您为 TSDS 创建数据流时，Elasticsearch 会将索引的 index.time_series.start_time 值计算为

now - index.look_back_time

此设置仅在创建数据流时使用，并控制第一个后备索引的 index.time_series.start_time 索引设置。配置此索引设置对于接受 @timestamp 字段值早于 2 小时（index.look_back_time 的默认值）的文档非常有用。

TSDS 旨在摄取当前的指标数据。当首次创建 TSDS 时，初始后备索引具有

只有落在该范围内的才能被索引。

您可以使用 获取数据流 API 来检查写入任何 TSDS 的可接受时间范围。

在每个 TSDS 后备索引中，Elasticsearch 使用 index.routing_path 索引设置将具有相同维度的文档路由到相同的分片。

当您为 TSDS 创建匹配的索引模板时，必须在 index.routing_path 设置中指定一个或多个维度。TSDS 中的每个文档必须包含一个或多个与 index.routing_path 设置匹配的维度。

index.routing_path 设置接受通配符模式（例如，dim.*），并且可以动态匹配新字段。但是，Elasticsearch 将拒绝任何添加与 index.routing_path 值匹配的脚本化字段、运行时字段或非维度字段的映射更新。

直通字段可以配置为维度容器。在这种情况下，它们的子字段将自动包含到路由路径中。

TSDS 文档不支持自定义 _routing 值。同样，您也不能在 TSDS 的映射中要求 _routing 值。

Elasticsearch 使用 压缩算法来压缩重复的值。当重复的值存储在彼此附近时（在同一索引中、同一分片上以及同一分片段中并排），此压缩效果最佳。

大多数时间序列数据包含重复的值。维度在同一时间序列中的文档中重复。时间序列的指标值也可能随时间缓慢变化。

在内部，每个 TSDS 后备索引都使用 索引排序，按 _tsid 和 @timestamp 对其分片段进行排序。这使得这些重复的值更可能存储在彼此附近以获得更好的压缩。TSDS 不支持任何 index.sort.* 索引设置。

现在您已经了解了基础知识，就可以 创建 TSDS 或 将现有的数据流转换为 TSDS。