对时间序列数据流进行降采样

降采样提供了一种方法，通过以降低的粒度存储您的时间序列数据来减少其占用空间。

指标解决方案会收集大量随时间增长的时间序列数据。随着这些数据的老化，它与系统的当前状态的相关性降低。降采样过程将固定时间间隔内的文档汇总到单个摘要文档中。每个摘要文档都包含原始数据的统计表示：每个指标的 min、max、sum 和 value_count。数据流 时间序列维度保持不变。

实际上，降采样允许您以数据分辨率和精度为代价来换取存储空间。您可以将其包含在 索引生命周期管理 (ILM) 策略中，以便在其老化时自动管理指标数据的量和相关成本。

查看以下部分以了解更多信息

时间序列是针对特定实体随时间推移进行的一系列观测。观测到的样本可以表示为连续函数，其中时间序列维度保持不变，而时间序列指标随时间变化。

在 Elasticsearch 索引中，每个时间戳都会创建一个单独的文档，其中包含不可变的时间序列维度，以及指标名称和变化的指标值。对于单个时间戳，可以存储多个时间序列维度和指标。

对于您最新和最相关的数据，指标序列通常具有较低的采样时间间隔，因此它针对需要高数据分辨率的查询进行了优化。

图 4. 原始指标序列

降采样通过将原始时间序列替换为更高采样间隔的数据流以及该数据的统计表示，来处理较旧、访问频率较低的数据。例如，原始指标样本可能是每十秒钟采集一次，随着数据的老化，您可以选择将采样粒度降低到每小时或每天。您可以选择将 cold 归档数据的粒度降低到每月甚至更低。

图 5. 降采样指标序列

要对时间序列索引进行降采样，请使用 降采样 API 并将 fixed_interval 设置为您所需的粒度级别。

resp = client.indices.downsample(
    index="my-time-series-index",
    target_index="my-downsampled-time-series-index",
    config={
        "fixed_interval": "1d"
    },
)
print(resp)

response = client.indices.downsample(
  index: 'my-time-series-index',
  target_index: 'my-downsampled-time-series-index',
  body: {
    fixed_interval: '1d'
  }
)
puts response

const response = await client.indices.downsample({
  index: "my-time-series-index",
  target_index: "my-downsampled-time-series-index",
  config: {
    fixed_interval: "1d",
  },
});
console.log(response);

POST /my-time-series-index/_downsample/my-downsampled-time-series-index
{
    "fixed_interval": "1d"
}

要将时间序列数据作为 ILM 的一部分进行降采样，请在您的 ILM 策略中包含 降采样操作，并将 fixed_interval 设置为您所需的粒度级别。

resp = client.ilm.put_lifecycle(
    name="my_policy",
    policy={
        "phases": {
            "warm": {
                "actions": {
                    "downsample": {
                        "fixed_interval": "1h"
                    }
                }
            }
        }
    },
)
print(resp)

response = client.ilm.put_lifecycle(
  policy: 'my_policy',
  body: {
    policy: {
      phases: {
        warm: {
          actions: {
            downsample: {
              fixed_interval: '1h'
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.ilm.putLifecycle({
  name: "my_policy",
  policy: {
    phases: {
      warm: {
        actions: {
          downsample: {
            fixed_interval: "1h",
          },
        },
      },
    },
  },
});
console.log(response);

PUT _ilm/policy/my_policy
{
  "policy": {
    "phases": {
      "warm": {
        "actions": {
          "downsample" : {
            "fixed_interval": "1h"
          }
        }
      }
    }
  }
}

您可以使用 _search 和 _async_search 端点来查询降采样索引。可以在单个请求中查询多个原始数据和降采样索引，并且单个请求可以包含具有不同粒度（不同的存储桶时间跨度）的降采样索引。也就是说，您可以查询包含具有多个降采样间隔（例如，15m、1h、1d）的降采样索引的数据流。

基于时间的直方图聚合的结果在统一的存储桶大小中，并且每个降采样索引都返回数据，而忽略降采样时间间隔。例如，如果在以每小时分辨率（"fixed_interval": "1h"）进行降采样的降采样索引上运行 date_histogram 聚合并使用 "fixed_interval": "1m"，则查询会返回一个存储桶，其中包含所有分钟 0 的数据，然后是 59 个空存储桶，然后在下一小时再次返回一个带有数据的存储桶。

关于查询降采样索引，有几点需要注意

以下限制和约束适用于降采样

要试用降采样，请尝试我们手动运行降采样的示例。

可以轻松地将降采样添加到您的 ILM 策略中。要了解如何操作，请尝试我们的使用 ILM 运行降采样示例。