通过 Amazon Data Firehose 将 CloudWatch 日志和指标一步式引入 Elastic 可观测性

新的快速入门引导式工作流程概述

在过去几个版本中，Elastic 可观测性一直支持通过 Amazon Data Firehose 引入 AWS 日志。为了使配置更容易，我们在 8.16 中引入了一个一步式引导式工作流程，可以从单个区域载入所有 CloudWatch 日志和指标。该配置使用预先填充的 CloudFormation 模板，自动创建 Amazon Data Firehose 并连接到 Elastic 可观测性。此外，所有相关的 Elastic AWS 集成都会自动安装。该配置确保从所有命名空间引入指标，并制定策略从所有现有日志组引入日志。设置后，任何新的指标命名空间和日志组也会自动引入。此外，CloudFormation 模板也可以自定义，并使用基础设施即代码部署到生产环境中。

这使 SRE 能够在几分钟内使用预构建的仪表板开始监控其常用 AWS 服务的使用情况和运行状况。此博客回顾了如何设置此快速入门工作流程，以及将从中填充的开箱即用仪表板。

使用 Amazon Data Firehose 载入数据

为了利用此引导式工作流程，用户需要超级用户内置 Kibana 角色。需要部署在 Elastic Cloud 上的 8.16 版托管 Elasticsearch 服务。此外，还需要一个活动的 AWS 帐户以及创建交付流、运行 CloudFormation、创建 CloudWatch 日志组/指标流的必要权限。

让我们逐步了解使用此工作流程载入数据所需的步骤。客户帐户中应该已经有一些 CloudWatch 日志和指标可用。下面的屏幕截图显示了一个示例，其中已经存在许多 CloudWatch 指标命名空间。

同样，此客户帐户中已经存在许多 CloudWatch 日志组，如下所示。

可以通过 Elastic 可观测性应用程序中的“添加数据”左侧导航选项访问此引导式工作流程。用户需要选择“云”选项，然后单击“AWS”磁贴。Amazon Firehose 快速入门引导式工作流程位于左上方，并标记为“快速入门”选项，如下所示。

Data Firehose 交付流可以使用 AWS CLI 或 AWS 控制台创建，如下面引导式工作流程的步骤 2 所示。

通过单击“通过 AWS 控制台”选项卡下的“在 AWS 中创建 Firehose 流”按钮，用户将被带到 AWS 控制台和用于创建 CloudFormation 堆栈的菜单，如下所示。

Elastic 提供的 CloudFormation (CF) 模板具有预先填充的默认设置，包括 Elasticsearch 端点和 API 密钥，如上面的屏幕截图所示。用户可以在 AWS 控制台中查看这些默认值，然后单击“创建堆栈”按钮继续操作，如下所示。请注意，此堆栈创建 IAM 资源，因此必须选中确认该资源的复选框才能继续操作。

在 AWS 中创建 CloudFormation 堆栈后，用户可以切换回 Kibana。默认情况下，CF 堆栈将包含用于 CloudWatch 日志和指标的单独交付流，如下所示。

在 Kibana 中，在工作流程的步骤 3“可视化您的数据”下，传入的数据开始出现，按 AWS 服务类型进行分类，如下所示。页面每 5 秒自动刷新一次，新服务会出现在列表底部。

对于每个检测到的 AWS 服务，建议用户使用 1-2 个预构建的仪表板来探索其服务的运行状况和使用情况。例如，下面显示的预构建仪表板提供了 NAT 网关使用情况的快速概述。

除了预构建的仪表板外，还可以使用 Discover 来浏览引入的 CloudWatch 日志，如下所示。

可以使用下面显示的预构建仪表板浏览 AWS 使用情况概述。

自定义选项

在开始创建 CF 堆栈之前，需要在 AWS 控制台中选择/修改区域，如下所示。

在 AWS 控制台或 CF 模板中，可以更改

参数的设置和参数的设置，以禁用日志或指标的收集。

CF 模板或控制台中的

参数可用于从收集中排除特定的命名空间-指标名称对。

Elastic 提供的 CF 模板可以与 Terraform 资源 aws_cloudformation_stack 一起使用，如下所示，以部署在生产环境中，从而方便代码即部署。

开始您自己的探索

用于 AWS 的新引导式入门工作流程利用 Amazon Firehose 交付流从单个客户帐户和单个区域收集所有可用的 CloudWatch 日志和指标。该工作流程还在 Elastic Stack 中安装 AWS 集成包，使用户能够在几分钟内使用预构建的仪表板开始监控其常用 AWS 服务的使用情况和性能。下面列出了一些可以使用此工作流程监控的 AWS 服务。有关此工作流程支持的超过 20 项服务的完整列表以及更多详细信息，请单击此处。