检测警报迁移 API编辑

升级 Kibana 后,所有新生成的检测警报将可以使用最新的 Elastic 安全功能。但是,为了对现有检测警报启用新功能,可能需要进行迁移。有关特定于您的升级的说明,请参见 升级 Elastic 安全

检测警报迁移在索引级别执行,需要以下步骤

确定要迁移的索引编辑

您可以使用迁移状态 API 来确定哪些索引包含特定年龄的检测警报,以及这些索引中每个索引的迁移信息。

请求编辑

GET <kibana 主机>:<端口>/api/detection_engine/signals/migration_status?from=now-30d

请求查询参数编辑

名称 类型 描述

from

datemath

符合条件的检测警报的最大年龄

响应示例编辑

{
  "indices": [
    {
      "index": ".siem-signals-default-000002",
      "version": 15,
      "signal_versions": [
        {
          "version": 15,
          "count": 100
        },
        {
          "version": 16,
          "count": 87
        }
      ],
      "migrations": [
        {
          "id": "924f7c50-505f-11eb-ae0a-3fa2e626a51d",
          "status": "pending",
          "version": 16,
          "updated": "2021-01-06T20:41:37.173Z"
        }
      ],
      "is_outdated": true
    },
    {
      "index": ".siem-signals-default-000003",
      "version": 16,
      "signal_versions": [
        {
          "version": 16,
          "count": 54
        }
      ],
      "migrations": [],
      "is_outdated": false
    }
  ]
}

上面的响应显示了两个索引:.siem-signals-default-000002 已过时,包含多个版本的检测警报和待处理的迁移,以及 .siem-signals-default-000003,它是最新的写入索引。

不包含指定范围内的检测警报的索引将从响应中过滤掉。

使用上述信息,我们可以编译我们希望迁移的索引列表。

查找具有威胁情报数据的过时检测警报

从 7.12.0 到 7.14.2 的版本升级到 Elastic Stack 版本 7.15.x 后,您需要迁移使用威胁情报数据增强的检测警报,以确保威胁情报在 Elastic 安全中正确显示。运行此查询以查找具有威胁情报数据的过时检测警报

GET .siem-signals-{KIBANA SPACE ID}/_search
{
  "query": {
    "nested": {
      "path": "threat.indicator",
      "query": {
        "exists": {
          "field": "threat.indicator.matched.*"
        }
      }
    }
  }
}

启动迁移编辑

迁移按索引启动。虽然此过程既不具有破坏性也不干扰现有数据,但它可能是资源密集型操作。因此,建议您相应地规划迁移。

请求编辑

POST <kibana 主机>:<端口>/api/detection_engine/signals/migration

请求正文编辑

名称 类型 描述 必需

index

String[]

要迁移的索引名称数组

size

Integer

每个批次要迁移的警报数量。对应于 重新索引 API 上的 source.size 选项

requests_per_second

Integer

迁移任务的节流器,以每秒子请求数表示。对应于 重新索引 API 上的 requests_per_second

slices

Integer

迁移任务的子任务数量。对应于 重新索引 API 上的 slices

响应示例编辑

{
  "indices": [
    {
      "index": ".siem-signals-default-000001",
      "migration_id": "923f7c50-505f-11eb-ae0a-3fa2e626a51d",
      "migration_index": ".siem-signals-default-000001-r000016"
    }
  ]
}

响应将为指定的每个索引包含 ID 和迁移的目标索引,以及错误(如果失败)。

完成迁移编辑

完成端点将原始索引的别名替换为成功迁移的索引的别名。该端点是幂等的;因此,它可以安全地用于轮询给定的迁移,并在完成后完成它。

原始索引不会在此步骤中删除。在验证迁移索引的完整性后,您可以使用 迁移清理 端点对原始过时索引应用 30 天删除策略。

如果完成不成功的迁移,将对它的索引应用删除策略,导致它在 30 天后被删除。

请求编辑

POST <kibana 主机>:<端口>/api/detection_engine/signals/finalize_migration

请求正文编辑

名称 类型 描述 必需

migration_ids

String[]

要完成的 `migration_id` 数组

响应示例编辑

{
  "migrations": [
    {
      "id": "924f7c50-505f-11eb-ae0a-3fa2e626a51d",
      "completed": true,
      "destinationIndex": ".siem-signals-default-000002-r000016",
      "status": "success",
      "sourceIndex": ".siem-signals-default-000002",
      "version": 16,
      "updated": "2021-01-06T22:05:56.859Z"
    }
  ]
}

完成的迁移将显示 completed: true 的响应,以及相应的 status。如果您尝试完成迁移时它仍在运行,则它的响应将显示为 completed: false

迁移清理编辑

迁移优先考虑数据完整性而不是分片大小。因此,未使用的或孤立的索引是迁移过程的产物。成功的迁移将导致旧索引和新索引都存在。因此,可以(也应该)删除旧的孤立索引。

虽然您可以手动删除这些索引,但该端点通过对相关索引应用删除策略来完成此任务,导致它在 30 天后被删除。它还删除了迁移实施特有的其他工件。

请求编辑

DELETE <kibana 主机>:<端口>/api/detection_engine/signals/migration

请求正文编辑

名称 类型 描述 必需

migration_ids

String[]

要完成的 `migration_id` 数组

响应示例编辑

 {
  "migrations": [
    {
      "id": "924f7c50-505f-11eb-ae0a-3fa2e626a51d",
      "destinationIndex": ".siem-signals-default-000002-r000016",
      "status": "success",
      "sourceIndex": ".siem-signals-default-000002",
      "version": 16,
      "updated": "2021-01-06T22:05:56.859Z"
    }
  ]
}

响应将包含所有成功删除的迁移。