时间序列数据流 (TSDS)
编辑时间序列数据流 (TSDS)编辑
时间序列数据流 (TSDS) 将带时间戳的指标数据建模为一个或多个时间序列。
您可以使用 TSDS 更有效地存储指标数据。在我们的基准测试中，存储在 TSDS 中的指标数据使用的磁盘空间比常规数据流少 70%。确切的影响将因数据集而异。
何时使用 TSDS编辑
常规数据流和 TSDS 都可以存储带时间戳的指标数据。仅当您通常以近乎实时的方式和 @timestamp 顺序将指标数据添加到 Elasticsearch 时，才使用 TSDS。
TSDS 仅用于指标数据。对于其他带时间戳的数据（例如日志或跟踪），请使用常规数据流。
与常规数据流的区别编辑
TSDS 的工作方式类似于常规数据流，但有一些关键区别
- TSDS 的匹配索引模板需要一个包含
index.mode: time_series选项的data_stream对象。此选项启用了大多数与 TSDS 相关的功能。 -
除了
@timestamp之外，TSDS 中的每个文档都必须包含一个或多个 维度字段。TSDS 的匹配索引模板必须至少包含一个keyword维度的映射。TSDS 文档通常还包含一个或多个 指标字段。
- Elasticsearch 为 TSDS 中的每个文档生成一个隐藏的
_tsid元数据字段。 - TSDS 使用 时间绑定支持索引 将来自同一时间段的数据存储在同一个支持索引中。
- TSDS 的匹配索引模板必须包含
index.routing_path索引设置。TSDS 使用此设置来执行 基于维度的路由。 - TSDS 使用内部 索引排序 按
_tsid和@timestamp对分片段进行排序。 - TSDS 文档仅支持自动生成的文档
_id值。对于 TSDS 文档，文档_id是文档维度和@timestamp的哈希值。TSDS 不支持自定义文档_id值。 - TSDS 使用 合成
_source，因此受到许多 限制。
时间序列索引可以包含维度或指标以外的字段。
什么是时间序列？编辑
时间序列是特定实体的一系列观察结果。综合起来，这些观察结果可以让您跟踪实体随时间的变化。例如，时间序列可以跟踪
- 计算机的 CPU 和磁盘使用情况
- 股票价格
- 来自天气传感器的温度和湿度读数。
在 TSDS 中，每个 Elasticsearch 文档代表特定时间序列中的一个观察结果或数据点。尽管 TSDS 可以包含多个时间序列，但一个文档只能属于一个时间序列。时间序列不能跨越多个数据流。
维度编辑
维度是字段名称和值的组合，用于标识文档的时间序列。在大多数情况下，维度描述了您正在测量的实体的某些方面。例如，与同一个天气传感器相关的文档可能始终具有相同的 sensor_id 和 location 值。
TSDS 文档由其时间序列和时间戳唯一标识，两者都用于生成文档 _id。因此，具有相同维度和相同时间戳的两个文档被视为重复项。当您使用 _bulk 端点将文档添加到 TSDS 时，具有相同时间戳和维度的第二个文档将覆盖第一个文档。当您使用 PUT /<target>/_create/<_id> 格式添加单个文档并且已经存在具有相同 _id 的文档时，将生成错误。
您可以使用布尔值 time_series_dimension 映射参数将字段标记为维度。以下字段类型支持 time_series_dimension 参数
对于扁平化字段，请使用 time_series_dimensions 参数将字段数组配置为维度。有关详细信息，请参阅 flattened。
指标编辑
指标是包含数值测量值的字段，以及基于这些测量值的聚合和/或下采样值。虽然不是必需的，但 TSDS 中的文档通常包含一个或多个指标字段。
指标与维度的不同之处在于，维度通常保持不变，而指标预计会随着时间的推移而变化，即使很少或缓慢变化。
要将字段标记为指标，您必须使用 time_series_metric 映射参数指定指标类型。以下字段类型支持 time_series_metric 参数
接受的指标类型因字段类型而异
time_series_metric 的有效值
-
counter -
一个累积指标，仅单调递增或重置为
0（零）。例如，错误计数或已完成任务数。计数器字段具有额外的语义，因为它表示累积计数器。这与
rate聚合配合良好，因为可以从累积单调递增的计数器推导出速率。但是，许多聚合（例如sum）计算的结果对于计数器字段没有意义，因为它具有累积性。只有数值和
aggregate_metric_double字段支持counter指标类型。
由于计数器字段的累积性，以下聚合得到支持，并且预计将使用 counter 字段提供有意义的结果：rate、histogram、range、min、max、top_metrics 和 variable_width_histogram。为了防止现有集成和自定义仪表板出现问题，我们还允许以下聚合，即使结果对于计数器可能毫无意义：avg、box plot、cardinality、extended stats、median absolute deviation、percentile ranks、percentiles、stats、sum 和 value count。
-
gauge -
表示可以任意增加或减少的单个数值的指标。例如，温度或可用磁盘空间。
只有数值和
aggregate_metric_double字段支持gauge指标类型。
-
null（默认） - 不是时间序列指标。
时间序列模式编辑
TSDS 的匹配索引模板必须包含一个带有 index_mode: time_series 选项的 data_stream 对象。此选项可确保 TSDS 创建的支持索引的 index.mode 设置为 time_series。此设置在支持索引中启用了大多数与 TSDS 相关的功能。
如果您将现有数据流转换为 TSDS，则只有在转换后创建的支持索引的 index.mode 为 time_series。您无法更改现有支持索引的 index.mode。
_tsid 元数据字段编辑
当您将文档添加到 TSDS 时，Elasticsearch 会自动为该文档生成一个 _tsid 元数据字段。_tsid 是一个包含文档维度的对象。具有相同 _tsid 的同一 TSDS 中的文档属于同一个时间序列。
_tsid 字段不可查询或更新。您也无法使用 获取文档 请求检索文档的 _tsid。但是，您可以在聚合中使用 _tsid 字段，并使用 fields 参数 在搜索中检索 _tsid 值。
不应依赖 _tsid 字段的格式。它可能会因版本而异。
时间绑定索引编辑
在 TSDS 中，每个支持索引（包括最新的支持索引）都具有一系列可接受的 @timestamp 值。此范围由 index.time_series.start_time 和 index.time_series.end_time 索引设置定义。
当您将文档添加到 TSDS 时，Elasticsearch 会根据其 @timestamp 值将文档添加到相应的支持索引。因此，TSDS 可以将文档添加到任何可以接收写入的 TSDS 支持索引。即使该索引不是最新的支持索引，也是如此。
如果没有后备索引可以接受文档的 @timestamp 值，Elasticsearch 将拒绝该文档。
Elasticsearch 会在索引创建和滚动过程中自动配置 index.time_series.start_time 和 index.time_series.end_time 设置。
前瞻时间编辑
使用 index.look_ahead_time 索引设置来配置您可以将文档添加到索引的时间范围。当您为 TSDS 创建新的写入索引时，Elasticsearch 会将索引的 index.time_series.end_time 值计算为
当前时间 + index.look_ahead_time
在时间序列轮询间隔（通过 time_series.poll_interval 设置控制）时，Elasticsearch 会检查写入索引是否已满足其索引生命周期策略中的滚动条件。如果没有，Elasticsearch 会刷新 当前时间 值，并将写入索引的 index.time_series.end_time 更新为
当前时间 + index.look_ahead_time + time_series.poll_interval
此过程会一直持续到写入索引滚动为止。当索引滚动时，Elasticsearch 会为该索引设置最终的 index.time_series.end_time 值。此值与新写入索引的 index.time_series.start_time 相邻。这确保了相邻后备索引的 @timestamp 范围始终相邻但不重叠。
回溯时间编辑
使用 index.look_back_time 索引设置来配置您可以将文档添加到索引的过去时间范围。当您为 TSDS 创建数据流时，Elasticsearch 会将索引的 index.time_series.start_time 值计算为
当前时间 - index.look_back_time
此设置仅在创建数据流时使用，并控制第一个后备索引的 index.time_series.start_time 索引设置。配置此索引设置对于接受 @timestamp 字段值早于 2 小时（index.look_back_time 默认值）的文档非常有用。
添加数据的可接受时间范围编辑
TSDS 旨在提取当前指标数据。首次创建 TSDS 时，初始后备索引具有
- 将
index.time_series.start_time值设置为当前时间 - index.look_ahead_time - 将
index.time_series.end_time值设置为当前时间 + index.look_ahead_time
只有属于该范围的数据才能被索引。
您可以使用 获取数据流 API 来检查写入任何 TSDS 的可接受时间范围。
基于维度的路由编辑
在每个 TSDS 后备索引中，Elasticsearch 使用 index.routing_path 索引设置将具有相同维度的文档路由到相同的碎片。
当您为 TSDS 创建匹配的索引模板时，必须在 index.routing_path 设置中指定一个或多个维度。TSDS 中的每个文档都必须包含一个或多个与 index.routing_path 设置匹配的维度。
index.routing_path 设置中的维度必须是普通的 keyword 字段。index.routing_path 设置接受通配符模式（例如 dim.*），并且可以动态匹配新字段。但是，Elasticsearch 将拒绝任何添加与 index.routing_path 值匹配的脚本化、运行时或非维度、非 keyword 字段的映射更新。
TSDS 文档不支持自定义 _routing 值。同样，您不能在 TSDS 的映射中要求 _routing 值。
索引排序编辑
Elasticsearch 使用 压缩算法 来压缩重复值。当重复值存储在彼此附近时（在同一个索引中、同一个碎片上以及同一个碎片段中并排存储），这种压缩效果最佳。
大多数时间序列数据都包含重复值。维度在同一个时间序列的文档中重复出现。时间序列的指标值也可能随着时间的推移缓慢变化。
在内部，每个 TSDS 后备索引都使用 索引排序 按 _tsid 和 @timestamp 对其碎片段进行排序。这使得这些重复值更有可能存储在彼此附近，从而实现更好的压缩。TSDS 不支持任何 index.sort.* 索引设置。
下一步是什么？编辑
现在您已经了解了基础知识，您可以 创建 TSDS 或 将现有数据流转换为 TSDS。