› › ›

设置时间序列数据流 (TSDS)

设置时间序列数据流 (TSDS)编辑

先决条件编辑

在创建 TSDS 之前，您应该熟悉数据流和 TSDS 概念。
要遵循本教程，您必须拥有以下权限
- 集群权限：manage_ilm 和 manage_index_templates。
- 索引权限：对您创建或转换的任何 TSDS 具有 create_doc 和 create_index 权限。要滚动更新 TSDS，您必须拥有 manage 权限。

创建索引生命周期策略编辑

虽然是可选的，但我们建议使用 ILM 自动管理 TSDS 的后备索引。ILM 需要索引生命周期策略。

我们建议您为策略中的 rollover 操作指定 max_age 条件。这可确保 TSDS 后备索引的 @timestamp 范围一致。例如，为 rollover 操作设置 max_age 为 1d 可确保您的后备索引始终包含一天的数据。

PUT _ilm/policy/my-weather-sensor-lifecycle-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "1d",
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

创建索引模板编辑

要设置 TSDS，请创建具有以下详细信息的索引模板

一个或多个与 TSDS 名称匹配的索引模式。我们建议使用我们的数据流命名方案。
启用数据流。
指定定义维度和指标的映射
- 一个或多个维度字段，其 time_series_dimension 值为 true。这些维度中至少有一个必须是普通的 keyword 字段。
- 一个或多个使用 time_series_metric 映射参数标记的指标字段。
- 可选：@timestamp 字段的 date 或 date_nanos 映射。如果您未指定映射，Elasticsearch 会将 @timestamp 映射为具有默认选项的 date 字段。
定义索引设置
- 将 index.mode 设置设置为 time_series。
- index.lifecycle.name 索引设置中的生命周期策略。
- 可选：TSDS 后备索引的其他索引设置，例如 index.number_of_replicas。
优先级高于 200 以避免与内置模板冲突。请参阅避免索引模式冲突。
可选：包含您的映射和其他索引设置的组件模板。

PUT _index_template/my-weather-sensor-index-template
{
  "index_patterns": ["metrics-weather_sensors-*"],
  "data_stream": { },
  "template": {
    "settings": {
      "index.mode": "time_series",
      "index.lifecycle.name": "my-lifecycle-policy"
    },
    "mappings": {
      "properties": {
        "sensor_id": {
          "type": "keyword",
          "time_series_dimension": true
        },
        "location": {
          "type": "keyword",
          "time_series_dimension": true
        },
        "temperature": {
          "type": "half_float",
          "time_series_metric": "gauge"
        },
        "humidity": {
          "type": "half_float",
          "time_series_metric": "gauge"
        },
        "@timestamp": {
          "type": "date"
        }
      }
    }
  },
  "priority": 500,
  "_meta": {
    "description": "Template for my weather sensor data"
  }
}

创建 TSDS编辑

索引请求将文档添加到 TSDS。TSDS 中的文档必须包含

@timestamp 字段
一个或多个维度字段。至少一个维度必须是与 index.routing_path 索引设置匹配的 keyword 字段（如果已指定）。如果未明确指定，则会自动将 index.routing_path 设置为 time_series_dimension 设置为 true 的任何映射。

要自动创建 TSDS，请提交以 TSDS 名称作为目标的索引请求。此名称必须与您的索引模板的其中一个索引模式匹配。

要测试以下示例，请将时间戳更新到当前时间的三小时内。添加到 TSDS 的数据必须始终在可接受的时间范围内。

PUT metrics-weather_sensors-dev/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "sensor_id": "HAL-000001", "location": "plains", "temperature": 26.7,"humidity": 49.9 }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "sensor_id": "SYKENET-000001", "location": "swamp", "temperature": 32.4, "humidity": 88.9 }

POST metrics-weather_sensors-dev/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "sensor_id": "SYKENET-000001",
  "location": "swamp",
  "temperature": 32.4,
  "humidity": 88.9
}

您还可以使用创建数据流 API 手动创建 TSDS。TSDS 的名称必须仍然与您的模板的其中一个索引模式匹配。

response = client.indices.create_data_stream(
  name: 'metrics-weather_sensors-dev'
)
puts response

PUT _data_stream/metrics-weather_sensors-dev

保护 TSDS编辑

使用索引权限控制对 TSDS 的访问。在 TSDS 上授予权限会在其后备索引上授予相同的权限。

有关示例，请参阅数据流权限。

将现有数据流转换为 TSDS编辑

您还可以使用上述步骤将现有的常规数据流转换为 TSDS。在这种情况下，您需要

编辑您现有的索引生命周期策略、组件模板和索引模板，而不是创建新的。
不是创建 TSDS，而是手动滚动更新其写入索引。这可确保当前写入索引和任何新的后备索引都具有 index.mode 为 time_series。

您可以使用滚动更新 API 手动滚动更新写入索引。
```
response = client.indices.rollover(
  alias: 'metrics-weather_sensors-dev'
)
puts response
```
```
POST metrics-weather_sensors-dev/_rollover
```

关于组件模板和 index.mode 设置的说明编辑

通过使用组件模板的索引模板配置 TSDS 会更加复杂。通常，对于组件模板，映射和设置会分散在多个组件模板中。在组件模板中配置 index.mode 设置时，需要在同一个组件模板中定义 index.routing_path 设置。此外，还需要在同一个组件模板中定义 index.routing_path 中提到的字段，并启用 time_series_dimension 属性。

这样做的原因是每个组件模板都需要自身有效，并且时间序列索引模式需要 index.routing_path 设置。在索引模板中配置 index.mode 设置时，会自动配置 index.routing_path 设置。它源自启用了 time_series_dimension 属性的字段映射。

下一步是什么？编辑

现在您已经设置了 TSDS，您可以像管理和使用常规数据流一样管理和使用它。有关更多信息，请参阅

« 时间序列数据流 (TSDS) 时间序列索引设置 »