从快照恢复编辑

Elasticsearch 使用快照将数据的副本存储在集群外部。您可以恢复快照以恢复集群中没有分片副本的索引和数据流。如果数据(索引或数据流)被删除,或者集群成员资格发生变化,并且系统中的当前节点不再包含数据的副本,则可能会发生这种情况。

恢复丢失的数据需要您拥有受影响的索引和数据流的备份,并且该备份对于您的用例来说足够新。在确认这一点之前,请不要继续操作。

为了恢复缺少数据的索引和数据流

使用 Kibana

  1. 登录到 Elastic Cloud 控制台
  2. Elasticsearch Service 面板中,单击您的部署名称。

    如果您的部署名称被禁用,则您的 Kibana 实例可能不正常,在这种情况下,请联系 Elastic 支持。如果您的部署不包括 Kibana,您只需 先启用它

  3. 打开您的部署的侧边导航菜单(位于左上角 Elastic 徽标下方),然后转到 开发工具 > 控制台

    Kibana Console
  4. 使用 cat indices API 查看受影响的索引。

    response = client.cat.indices(
      v: true,
      health: 'red',
      h: 'index,status,health'
    )
    puts response
    GET _cat/indices?v&health=red&h=index,status,health

    响应将如下所示

    index                                status health
    .ds-my-data-stream-2022.06.17-000001 open   red
    kibana_sample_data_flights           open   red

    上面索引的 红色 健康状况表示这些索引缺少主分片,这意味着它们缺少数据。

  5. 为了恢复数据,我们需要找到包含这两个索引的快照。要查找此类快照,请使用 获取快照 API

    response = client.snapshot.get(
      repository: 'my_repository',
      snapshot: '*',
      verbose: false
    )
    puts response
    GET _snapshot/my_repository/*?verbose=false

    响应将如下所示

    {
      "snapshots" : [
        {
          "snapshot" : "snapshot-20200617",                                     
          "uuid" : "dZyPs1HyTwS-cnKdH08EPg",
          "repository" : "my_repository",                                       
          "indices" : [                                                         
            ".apm-agent-configuration",
            ".apm-custom-link",
            ".ds-ilm-history-5-2022.06.17-000001",
            ".ds-my-data-stream-2022.06.17-000001",
            ".geoip_databases",
            ".kibana-event-log-8.2.2-000001",
            ".kibana_8.2.2_001",
            ".kibana_task_manager_8.2.2_001",
            "kibana_sample_data_ecommerce",
            "kibana_sample_data_flights",
            "kibana_sample_data_logs"
          ],
          "data_streams" : [ ],
          "state" : "SUCCESS"                                                     
        }
      ],
      "total" : 1,
      "remaining" : 0
    }

    快照的名称。

    快照的存储库。

    快照中备份的索引。

    如果快照成功。

  6. 快照 snapshot-20200617 包含我们要恢复的两个索引。您可能有多个快照可以从中恢复目标索引。选择最新的快照。
  7. 现在我们找到了一个快照,我们将继续进行数据流准备以恢复丢失的数据。我们将检查索引元数据以查看是否有任何索引是数据流的一部分

    response = client.indices.get(
      index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001',
      features: 'settings',
      flat_settings: true
    )
    puts response
    GET kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001?features=settings&flat_settings

    响应将如下所示

    {
      ".ds-my-data-stream-2022.06.17-000001" : {                                
        "aliases" : { },
        "mappings" : { },
        "settings" : {                                                          
          "index.creation_date" : "1658406121699",
          "index.hidden" : "true",
          "index.lifecycle.name" : "my-lifecycle-policy",
          "index.number_of_replicas" : "1",
          "index.number_of_shards" : "1",
          "index.provided_name" : ".ds-my-data-stream-2022.06.17-000001",
          "index.routing.allocation.include._tier_preference" : "data_hot",
          "index.uuid" : "HmlFXp6VSu2XbQ-O3hVrwQ",
          "index.version.created" : "8020299"
        },
        "data_stream" : "my-data-stream"                                        
      },
      "kibana_sample_data_flights" : {                                          
        "aliases" : { },
        "mappings" : { },
        "settings" : {
          "index.creation_date" : "1655121541454",
          "index.number_of_replicas" : "0",
          "index.number_of_shards" : "1",
          "index.provided_name" : "kibana_sample_data_flights",
          "index.routing.allocation.include._tier_preference" : "data_content",
          "index.uuid" : "jMOlwKPPSzSraeeBWyuoDA",
          "index.version.created" : "8020299"
        }
      }
    }

    索引的名称。

    此索引的设置,其中包含我们正在寻找的元数据。

    这表明此索引是数据流的一部分,并显示数据流名称。

    我们请求的另一个索引的名称。

    上面的响应显示 kibana_sample_data_flights 不是数据流的一部分,因为它在设置中没有名为 data_stream 的字段。

    相反,.ds-my-data-stream-2022.06.17-000001 是名为 my-data-stream 的数据流的一部分。当您找到属于数据流的索引(如本例)时,您需要检查是否仍在索引数据。您可以通过检查 settings 来查看,如果您可以找到此属性:"index.lifecycle.indexing_complete" : "true",则表示此索引中的索引已完成,您可以继续下一步。

    如果 index.lifecycle.indexing_complete 不存在或配置为 false,则需要滚动数据流,以便您可以在不阻止新数据摄取的情况下恢复丢失的数据。以下命令将实现这一点。

    response = client.indices.rollover(
      alias: 'my-data-stream'
    )
    puts response
    POST my-data-stream/_rollover
  8. 现在数据流准备工作已完成,我们将使用 关闭索引 API 关闭目标索引。

    response = client.indices.close(
      index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001'
    )
    puts response
    POST kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001/_close

    您可以使用 cat indices API 确认它们已关闭。

    response = client.cat.indices(
      v: true,
      health: 'red',
      h: 'index,status,health'
    )
    puts response
    GET _cat/indices?v&health=red&h=index,status,health

    响应将如下所示

    index                                status health
    .ds-my-data-stream-2022.06.17-000001 close   red
    kibana_sample_data_flights           close   red
  9. 索引已关闭,现在我们可以使用 恢复快照 API 从快照恢复它们,而不会造成任何复杂情况

    response = client.snapshot.restore(
      repository: 'my_repository',
      snapshot: 'snapshot-20200617',
      body: {
        indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001',
        include_aliases: true
      }
    )
    puts response
    POST _snapshot/my_repository/snapshot-20200617/_restore
    {
      "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001", 
      "include_aliases": true                                                       
    }

    要恢复的索引。

    我们还想恢复别名。

    如果需要恢复任何 功能状态,我们需要使用 feature_states 字段指定它们,并且属于我们恢复的功能状态的索引不得在 indices 下指定。 健康 API 返回需要为从快照诊断恢复的 indicesfeature_states。例如

    response = client.snapshot.restore(
      repository: 'my_repository',
      snapshot: 'snapshot-20200617',
      body: {
        feature_states: [
          'geoip'
        ],
        indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001',
        include_aliases: true
      }
    )
    puts response
    POST _snapshot/my_repository/snapshot-20200617/_restore
    {
      "feature_states": [ "geoip" ],
      "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001",
      "include_aliases": true
    }
  10. 最后,我们可以通过 cat indices API 验证索引健康状况现在是否为 绿色

    response = client.cat.indices(
      v: true,
      index: '.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health'
    )
    puts response
    GET _cat/indices?v&index=.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health

    响应将如下所示

    index                                status health
    .ds-my-data-stream-2022.06.17-000001 open   green
    kibana_sample_data_flights           open   green

    正如我们在上面看到的,索引是 绿色 的并且是打开的。问题已解决。

有关创建和恢复快照的更多指导,请参阅 本指南