监控 AWS 网络防火墙日志

编辑

在本节中,您将学习如何使用 Amazon Data Firehose 将 AWS 网络防火墙日志事件从 AWS 发送到您的 Elastic Stack。

您将完成以下步骤

  • 选择一个与 AWS 网络防火墙兼容的资源
  • 在 Amazon Data Firehose 中创建一个交付流
  • 设置日志记录,以使用 Firehose 流将日志转发到 Elastic Stack
  • 在 Kibana 中可视化您的日志
开始之前
编辑

我们假设您已拥有

  • 一个具有从 AWS 拉取必要数据权限的 AWS 账户。
  • 使用我们在 Elastic Cloud 上托管的 Elasticsearch 服务的部署。该部署包括一个用于存储和搜索数据的 Elasticsearch 集群,以及用于可视化和管理数据的 Kibana。AWS Data Firehose 仅适用于在 Elastic Cloud 上运行的 Elastic Stack 7.17 或更高版本。

不支持 AWS PrivateLink。请确保部署在 AWS 上,因为 Amazon Data Firehose 交付流专门连接到需要在 AWS 上的端点。

步骤 1:在 Kibana 中安装 AWS 集成
编辑
  1. 在主菜单中找到 集成,或使用全局搜索字段
  2. 浏览目录以找到 AWS 集成。
  3. 导航到 设置 选项卡,然后单击 安装 AWS 资产
步骤 2:选择一个资源
编辑
AWS Network Firewall

您可以使用现有的 AWS 网络防火墙,也可以创建一个新的用于测试目的。

创建网络防火墙并非易事,并且超出了本指南的范围。有关更多信息,请查阅 AWS 文档中的 AWS 网络防火墙入门指南。

步骤 3:在 Amazon Data Firehose 中创建流
编辑
Firehose stream
  1. 转到 AWS 控制台并导航到 Amazon Data Firehose。
  2. 单击 创建 Firehose 流 并选择您的 Firehose 流的源和目标。将源设置为 直接 PUT,并将目标设置为 Elastic
  3. 从您在 Elastic Cloud 上的部署中收集 Elasticsearch 端点和 API 密钥。

    • Elastic 端点 URL:输入您的 Elasticsearch 集群的 Elasticsearch 端点 URL。要查找 Elasticsearch 端点,请转到 Elastic Cloud 控制台,然后选择 连接详细信息
    • API 密钥:输入编码的 Elastic API 密钥。要创建 API 密钥,请转到 Elastic Cloud 控制台,选择 连接详细信息,然后单击 创建和管理 API 密钥。如果您使用的是具有 限制权限 的 API 密钥,请确保查看索引权限,以至少为将与此交付流一起使用的索引提供 “auto_configure” 和 “write” 权限。
  4. 通过指定以下数据来设置交付流

    • Elastic 端点 URL
    • API 密钥
    • 内容编码:gzip
    • 重试持续时间:60(默认)
    • 参数 es_datastream_name = logs-aws.firewall_logs-default
    • 备份设置:仅将失败的数据备份到 s3 存储桶

Firehose 流已准备好将日志发送到我们的 Elastic Cloud 部署。

步骤 4:启用日志记录
编辑
AWS Network Firewall logging

AWS 网络防火墙日志具有内置的日志记录支持。它可以将日志发送到 Amazon S3、Amazon CloudWatch 和 Amazon Kinesis Data Firehose。

要启用发送到 Amazon Data Firehose 的日志记录

  1. 在 AWS 控制台中,导航到 AWS 网络防火墙服务。
  2. 选择要启用日志记录的防火墙。
  3. 日志记录 部分,单击 编辑
  4. 选择 将日志发送到 选项,然后选择 Kinesis Data Firehose
  5. 选择您在上一步中创建的 Firehose 流。
  6. 单击 保存

此时,网络防火墙将开始将日志发送到 Firehose 流。

步骤 5:在 Kibana 中可视化您的网络防火墙日志
编辑
Firehose monitor Network Firewall logs

在新的日志记录设置到位后,网络防火墙开始将日志事件发送到 Firehose 流。

导航到 Kibana 并选择 使用 Discover 可视化您的日志

Visualize Network Firewall logs with Discover