« 数据流 使用数据流 »
Elastic 文档 ›Elasticsearch 指南 [8.14] ›数据流

设置数据流

编辑

设置数据流编辑

要设置数据流，请按照以下步骤操作

  1. 创建索引生命周期策略
  2. 创建组件模板
  3. 创建索引模板
  4. 创建数据流
  5. 保护数据流

您也可以将索引别名转换为数据流。

如果您使用 Fleet、Elastic Agent 或 Logstash，请跳过本教程。它们都会为您设置数据流。

对于 Fleet 和 Elastic Agent，请查看此数据流文档。对于 Logstash，请查看数据流设置，了解elasticsearch output插件。

创建索引生命周期策略编辑

虽然可选，但我们建议使用 ILM 来自动管理数据流的备份索引。ILM 需要索引生命周期策略。

要在 Kibana 中创建索引生命周期策略，请打开主菜单并转到堆栈管理 > 索引生命周期策略。单击创建策略。

您也可以使用创建生命周期策略 API。

PUT _ilm/policy/my-lifecycle-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

创建组件模板编辑

数据流需要匹配的索引模板。在大多数情况下，您可以使用一个或多个组件模板来组合此索引模板。通常，您会为映射和索引设置使用单独的组件模板。这使您可以在多个索引模板中重用组件模板。

创建组件模板时，请包含

  • 一个date或date_nanos映射，用于@timestamp字段。如果您未指定映射，Elasticsearch 会将@timestamp映射为具有默认选项的date字段。
  • 您在index.lifecycle.name索引设置中的生命周期策略。

使用Elastic Common Schema (ECS)映射您的字段。ECS 字段默认情况下与多个 Elastic Stack 功能集成。

如果您不确定如何映射字段，请使用运行时字段从非结构化内容中提取字段，以便在搜索时使用。例如，您可以将日志消息索引到wildcard字段，然后在搜索期间从该字段中提取 IP 地址和其他数据。

要在 Kibana 中创建组件模板，请打开主菜单并转到堆栈管理 > 索引管理。在索引模板视图中，单击创建组件模板。

您也可以使用创建组件模板 API。

response = client.cluster.put_component_template(
  name: 'my-mappings',
  body: {
    template: {
      mappings: {
        properties: {
          "@timestamp": {
            type: 'date',
            format: 'date_optional_time||epoch_millis'
          },
          message: {
            type: 'wildcard'
          }
        }
      }
    },
    _meta: {
      description: 'Mappings for @timestamp and message fields',
      "my-custom-meta-field": 'More arbitrary metadata'
    }
  }
)
puts response

response = client.cluster.put_component_template(
  name: 'my-settings',
  body: {
    template: {
      settings: {
        'index.lifecycle.name' => 'my-lifecycle-policy'
      }
    },
    _meta: {
      description: 'Settings for ILM',
      "my-custom-meta-field": 'More arbitrary metadata'
    }
  }
)
puts response
# Creates a component template for mappings
PUT _component_template/my-mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "date_optional_time||epoch_millis"
        },
        "message": {
          "type": "wildcard"
        }
      }
    }
  },
  "_meta": {
    "description": "Mappings for @timestamp and message fields",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

# Creates a component template for index settings
PUT _component_template/my-settings
{
  "template": {
    "settings": {
      "index.lifecycle.name": "my-lifecycle-policy"
    }
  },
  "_meta": {
    "description": "Settings for ILM",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

创建索引模板编辑

使用您的组件模板创建索引模板。指定

  • 一个或多个与数据流名称匹配的索引模式。我们建议使用我们的数据流命名方案。
  • 模板已启用数据流。
  • 包含您的映射和索引设置的任何组件模板。
  • 优先级高于200，以避免与内置模板发生冲突。请参阅避免索引模式冲突。

要在 Kibana 中创建索引模板，请打开主菜单并转到堆栈管理 > 索引管理。在索引模板视图中，单击创建模板。

您也可以使用创建索引模板 API。包含data_stream对象以启用数据流。

response = client.indices.put_index_template(
  name: 'my-index-template',
  body: {
    index_patterns: [
      'my-data-stream*'
    ],
    data_stream: {},
    composed_of: [
      'my-mappings',
      'my-settings'
    ],
    priority: 500,
    _meta: {
      description: 'Template for my time series data',
      "my-custom-meta-field": 'More arbitrary metadata'
    }
  }
)
puts response
PUT _index_template/my-index-template
{
  "index_patterns": ["my-data-stream*"],
  "data_stream": { },
  "composed_of": [ "my-mappings", "my-settings" ],
  "priority": 500,
  "_meta": {
    "description": "Template for my time series data",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

创建数据流编辑

索引请求将文档添加到数据流。这些请求必须使用op_type为create。文档必须包含@timestamp字段。

要自动创建数据流，请提交一个针对流名称的索引请求。此名称必须与您的索引模板的索引模式之一匹配。

response = client.bulk(
  index: 'my-data-stream',
  body: [
    {
      create: {}
    },
    {
      "@timestamp": '2099-05-06T16:21:15.000Z',
      message: '192.0.2.42 - - [06/May/2099:16:21:15 +0000] "GET /images/bg.jpg HTTP/1.0" 200 24736'
    },
    {
      create: {}
    },
    {
      "@timestamp": '2099-05-06T16:25:42.000Z',
      message: '192.0.2.255 - - [06/May/2099:16:25:42 +0000] "GET /favicon.ico HTTP/1.0" 200 3638'
    }
  ]
)
puts response

response = client.index(
  index: 'my-data-stream',
  body: {
    "@timestamp": '2099-05-06T16:21:15.000Z',
    message: '192.0.2.42 - - [06/May/2099:16:21:15 +0000] "GET /images/bg.jpg HTTP/1.0" 200 24736'
  }
)
puts response
PUT my-data-stream/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736" }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "message": "192.0.2.255 - - [06/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" }

POST my-data-stream/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}

您也可以使用创建数据流 API手动创建流。流的名称仍然必须与您的模板的索引模式之一匹配。

response = client.indices.create_data_stream(
  name: 'my-data-stream'
)
puts response
PUT _data_stream/my-data-stream

保护数据流编辑

使用索引权限控制对数据流的访问。授予数据流的权限会授予其备份索引的相同权限。

有关示例，请参阅数据流权限。

将索引别名转换为数据流编辑

在 Elasticsearch 7.9 之前，您通常会使用带有写入索引的索引别名来管理时间序列数据。数据流取代了此功能，需要更少的维护，并自动与数据层集成。

要将带有写入索引的索引别名转换为具有相同名称的数据流，请使用迁移到数据流 API。在转换期间，别名的索引将成为流的隐藏备份索引。别名的写入索引将成为流的写入索引。流仍然需要一个匹配的索引模板，并且已启用数据流。

POST _data_stream/_migrate/my-time-series-data

获取有关数据流的信息编辑

要在 Kibana 中获取有关数据流的信息，请打开主菜单并转到堆栈管理 > 索引管理。在数据流视图中，单击数据流的名称。

您也可以使用获取数据流 API。

response = client.indices.get_data_stream(
  name: 'my-data-stream'
)
puts response
GET _data_stream/my-data-stream

删除数据流编辑

要在 Kibana 中删除数据流及其备份索引，请打开主菜单并转到堆栈管理 > 索引管理。在数据流视图中，单击垃圾桶图标。如果您对数据流具有delete_index安全权限，则该图标才会显示。

您也可以使用删除数据流 API。

response = client.indices.delete_data_stream(
  name: 'my-data-stream'
)
puts response
DELETE _data_stream/my-data-stream
« 数据流 使用数据流 »