从快照恢复
编辑从快照恢复编辑
Elasticsearch 使用快照将数据的副本存储在集群外部。您可以恢复快照以恢复集群中没有分片副本的索引和数据流。如果数据(索引或数据流)被删除,或者集群成员资格发生变化,并且系统中的当前节点不再包含数据的副本,则可能会发生这种情况。
恢复丢失的数据需要您拥有受影响的索引和数据流的备份,并且该备份对于您的用例来说足够新。在确认这一点之前,请不要继续操作。
为了恢复缺少数据的索引和数据流
使用 Kibana
- 登录到 Elastic Cloud 控制台。
-
在 Elasticsearch Service 面板中,单击您的部署名称。
如果您的部署名称被禁用,则您的 Kibana 实例可能不正常,在这种情况下,请联系 Elastic 支持。如果您的部署不包括 Kibana,您只需 先启用它。
-
打开您的部署的侧边导航菜单(位于左上角 Elastic 徽标下方),然后转到 开发工具 > 控制台。
-
使用 cat indices API 查看受影响的索引。
response = client.cat.indices( v: true, health: 'red', h: 'index,status,health' ) puts response
GET _cat/indices?v&health=red&h=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 open red kibana_sample_data_flights open red
上面索引的
红色
健康状况表示这些索引缺少主分片,这意味着它们缺少数据。 -
为了恢复数据,我们需要找到包含这两个索引的快照。要查找此类快照,请使用 获取快照 API。
response = client.snapshot.get( repository: 'my_repository', snapshot: '*', verbose: false ) puts response
GET _snapshot/my_repository/*?verbose=false
响应将如下所示
{ "snapshots" : [ { "snapshot" : "snapshot-20200617", "uuid" : "dZyPs1HyTwS-cnKdH08EPg", "repository" : "my_repository", "indices" : [ ".apm-agent-configuration", ".apm-custom-link", ".ds-ilm-history-5-2022.06.17-000001", ".ds-my-data-stream-2022.06.17-000001", ".geoip_databases", ".kibana-event-log-8.2.2-000001", ".kibana_8.2.2_001", ".kibana_task_manager_8.2.2_001", "kibana_sample_data_ecommerce", "kibana_sample_data_flights", "kibana_sample_data_logs" ], "data_streams" : [ ], "state" : "SUCCESS" } ], "total" : 1, "remaining" : 0 }
- 快照
snapshot-20200617
包含我们要恢复的两个索引。您可能有多个快照可以从中恢复目标索引。选择最新的快照。 -
现在我们找到了一个快照,我们将继续进行数据流准备以恢复丢失的数据。我们将检查索引元数据以查看是否有任何索引是数据流的一部分
response = client.indices.get( index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', features: 'settings', flat_settings: true ) puts response
GET kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001?features=settings&flat_settings
响应将如下所示
{ ".ds-my-data-stream-2022.06.17-000001" : { "aliases" : { }, "mappings" : { }, "settings" : { "index.creation_date" : "1658406121699", "index.hidden" : "true", "index.lifecycle.name" : "my-lifecycle-policy", "index.number_of_replicas" : "1", "index.number_of_shards" : "1", "index.provided_name" : ".ds-my-data-stream-2022.06.17-000001", "index.routing.allocation.include._tier_preference" : "data_hot", "index.uuid" : "HmlFXp6VSu2XbQ-O3hVrwQ", "index.version.created" : "8020299" }, "data_stream" : "my-data-stream" }, "kibana_sample_data_flights" : { "aliases" : { }, "mappings" : { }, "settings" : { "index.creation_date" : "1655121541454", "index.number_of_replicas" : "0", "index.number_of_shards" : "1", "index.provided_name" : "kibana_sample_data_flights", "index.routing.allocation.include._tier_preference" : "data_content", "index.uuid" : "jMOlwKPPSzSraeeBWyuoDA", "index.version.created" : "8020299" } } }
上面的响应显示
kibana_sample_data_flights
不是数据流的一部分,因为它在设置中没有名为data_stream
的字段。相反,
.ds-my-data-stream-2022.06.17-000001
是名为my-data-stream
的数据流的一部分。当您找到属于数据流的索引(如本例)时,您需要检查是否仍在索引数据。您可以通过检查settings
来查看,如果您可以找到此属性:"index.lifecycle.indexing_complete" : "true"
,则表示此索引中的索引已完成,您可以继续下一步。如果
index.lifecycle.indexing_complete
不存在或配置为false
,则需要滚动数据流,以便您可以在不阻止新数据摄取的情况下恢复丢失的数据。以下命令将实现这一点。response = client.indices.rollover( alias: 'my-data-stream' ) puts response
POST my-data-stream/_rollover
-
现在数据流准备工作已完成,我们将使用 关闭索引 API 关闭目标索引。
response = client.indices.close( index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001' ) puts response
POST kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001/_close
您可以使用 cat indices API 确认它们已关闭。
response = client.cat.indices( v: true, health: 'red', h: 'index,status,health' ) puts response
GET _cat/indices?v&health=red&h=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 close red kibana_sample_data_flights close red
-
索引已关闭,现在我们可以使用 恢复快照 API 从快照恢复它们,而不会造成任何复杂情况
response = client.snapshot.restore( repository: 'my_repository', snapshot: 'snapshot-20200617', body: { indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', include_aliases: true } ) puts response
POST _snapshot/my_repository/snapshot-20200617/_restore { "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001", "include_aliases": true }
response = client.snapshot.restore( repository: 'my_repository', snapshot: 'snapshot-20200617', body: { feature_states: [ 'geoip' ], indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', include_aliases: true } ) puts response
POST _snapshot/my_repository/snapshot-20200617/_restore { "feature_states": [ "geoip" ], "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001", "include_aliases": true }
-
最后,我们可以通过 cat indices API 验证索引健康状况现在是否为
绿色
。response = client.cat.indices( v: true, index: '.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health' ) puts response
GET _cat/indices?v&index=.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 open green kibana_sample_data_flights open green
正如我们在上面看到的,索引是
绿色
的并且是打开的。问题已解决。
有关创建和恢复快照的更多指导,请参阅 本指南。
为了恢复缺少分片的索引
-
使用 cat indices API 查看受影响的索引。
response = client.cat.indices( v: true, health: 'red', h: 'index,status,health' ) puts response
GET _cat/indices?v&health=red&h=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 open red kibana_sample_data_flights open red
上面索引的
红色
健康状况表示这些索引缺少主分片,这意味着它们缺少数据。 -
为了恢复数据,我们需要找到包含这两个索引的快照。要查找此类快照,请使用 获取快照 API。
response = client.snapshot.get( repository: 'my_repository', snapshot: '*', verbose: false ) puts response
GET _snapshot/my_repository/*?verbose=false
响应将如下所示
{ "snapshots" : [ { "snapshot" : "snapshot-20200617", "uuid" : "dZyPs1HyTwS-cnKdH08EPg", "repository" : "my_repository", "indices" : [ ".apm-agent-configuration", ".apm-custom-link", ".ds-ilm-history-5-2022.06.17-000001", ".ds-my-data-stream-2022.06.17-000001", ".geoip_databases", ".kibana-event-log-8.2.2-000001", ".kibana_8.2.2_001", ".kibana_task_manager_8.2.2_001", "kibana_sample_data_ecommerce", "kibana_sample_data_flights", "kibana_sample_data_logs" ], "data_streams" : [ ], "state" : "SUCCESS" } ], "total" : 1, "remaining" : 0 }
- 快照
snapshot-20200617
包含我们要恢复的两个索引。您可能有多个快照可以从中恢复目标索引。选择最新的快照。 -
现在我们找到了一个快照,我们将继续进行数据流准备以恢复丢失的数据。我们将检查索引元数据以查看是否有任何索引是数据流的一部分
response = client.indices.get( index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', features: 'settings', flat_settings: true ) puts response
GET kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001?features=settings&flat_settings
响应将如下所示
{ ".ds-my-data-stream-2022.06.17-000001" : { "aliases" : { }, "mappings" : { }, "settings" : { "index.creation_date" : "1658406121699", "index.hidden" : "true", "index.lifecycle.name" : "my-lifecycle-policy", "index.number_of_replicas" : "1", "index.number_of_shards" : "1", "index.provided_name" : ".ds-my-data-stream-2022.06.17-000001", "index.routing.allocation.include._tier_preference" : "data_hot", "index.uuid" : "HmlFXp6VSu2XbQ-O3hVrwQ", "index.version.created" : "8020299" }, "data_stream" : "my-data-stream" }, "kibana_sample_data_flights" : { "aliases" : { }, "mappings" : { }, "settings" : { "index.creation_date" : "1655121541454", "index.number_of_replicas" : "0", "index.number_of_shards" : "1", "index.provided_name" : "kibana_sample_data_flights", "index.routing.allocation.include._tier_preference" : "data_content", "index.uuid" : "jMOlwKPPSzSraeeBWyuoDA", "index.version.created" : "8020299" } } }
上面的响应显示
kibana_sample_data_flights
不是数据流的一部分,因为它在设置中没有名为data_stream
的字段。相反,
.ds-my-data-stream-2022.06.17-000001
是名为my-data-stream
的数据流的一部分。当您找到属于数据流的索引(如本例)时,您需要检查是否仍在索引数据。您可以通过检查settings
来查看,如果您可以找到此属性:"index.lifecycle.indexing_complete" : "true"
,则表示此索引中的索引已完成,您可以继续下一步。如果
index.lifecycle.indexing_complete
不存在或配置为false
,则需要滚动数据流,以便您可以在不阻止新数据摄取的情况下恢复丢失的数据。以下命令将实现这一点。response = client.indices.rollover( alias: 'my-data-stream' ) puts response
POST my-data-stream/_rollover
-
现在数据流准备工作已完成,我们将使用 关闭索引 API 关闭目标索引。
response = client.indices.close( index: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001' ) puts response
POST kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001/_close
您可以使用 cat indices API 确认它们已关闭。
response = client.cat.indices( v: true, health: 'red', h: 'index,status,health' ) puts response
GET _cat/indices?v&health=red&h=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 close red kibana_sample_data_flights close red
-
索引已关闭,现在我们可以使用 恢复快照 API 从快照恢复它们,而不会造成任何复杂情况
response = client.snapshot.restore( repository: 'my_repository', snapshot: 'snapshot-20200617', body: { indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', include_aliases: true } ) puts response
POST _snapshot/my_repository/snapshot-20200617/_restore { "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001", "include_aliases": true }
response = client.snapshot.restore( repository: 'my_repository', snapshot: 'snapshot-20200617', body: { feature_states: [ 'geoip' ], indices: 'kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001', include_aliases: true } ) puts response
POST _snapshot/my_repository/snapshot-20200617/_restore { "feature_states": [ "geoip" ], "indices": "kibana_sample_data_flights,.ds-my-data-stream-2022.06.17-000001", "include_aliases": true }
-
最后,我们可以通过 cat indices API 验证索引健康状况现在是否为
绿色
。response = client.cat.indices( v: true, index: '.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health' ) puts response
GET _cat/indices?v&index=.ds-my-data-stream-2022.06.17-000001,kibana_sample_data_flightsh=index,status,health
响应将如下所示
index status health .ds-my-data-stream-2022.06.17-000001 open green kibana_sample_data_flights open green
正如我们在上面看到的,索引是
绿色
的并且是打开的。问题已解决。
有关创建和恢复快照的更多指导,请参阅 本指南。