监控 Amazon Simple Storage Service (S3)

编辑

Amazon Simple Storage Service (S3) 是一种高可用对象存储服务,提供持久性、安全性以及可扩展性。要存储数据,您需要创建一个或多个包含对象的存储桶。对象由文件和描述文件的可选元数据组成。对于每个存储桶,您可以控制对它的访问权限。

与大多数 AWS 服务一样,Amazon S3 和 Amazon CloudWatch 集成在一起,因此您可以收集、查看和分析 S3 存储桶的 CloudWatch 指标,以帮助了解和改进使用 Amazon S3 的应用程序的性能。Elastic Amazon S3 集成 使用 Elastic Agent 从 Amazon CloudWatch 收集指标。

使用 Amazon S3 集成,您可以从 CloudWatch 收集以下 S3 指标

  • 存储桶的每日存储指标。使用这些指标来监控存储桶存储情况。默认情况下,这些指标每天报告一次,并且 AWS 客户无需额外付费即可获得这些指标。
  • 请求指标。使用这些指标可以快速识别和处理操作问题。这些请求指标在经过一些处理延迟后以一分钟的间隔提供,并且默认情况下未启用。
入门
编辑

如果您计划收集请求指标,请为要监控的 S3 存储桶启用这些指标。要了解如何操作,请参阅 AWS 文档

要收集 S3 指标,您通常需要安装 Elastic Amazon S3 集成 并在本地或 EC2 实例上部署 Elastic Agent。

展开快速指南以了解操作方法,或者如果您数据已存在于 Elasticsearch 中,请跳到下一节。

快速指南:添加数据

Elastic Agent 目前是添加 S3 指标的首选方法。有关其他方法,请参阅 将数据添加到 Elasticsearch

仪表板
编辑

Kibana 提供了一个完整的内置仪表板数据分析平台,您可以克隆和增强这些仪表板以满足您自定义可视化用例。例如,要在 Kibana 中查看 S3 指标的概览,请转到仪表板应用程序并导航到[Metrics AWS] S3 概览仪表板。

Screenshot showing the S3 dashboard
要关注的指标
编辑

以下是要关注的关键指标,按类别组织。有关集成导出的完整字段列表,请参阅 Amazon S3 集成 文档。

  • 存储桶的每日存储指标

    • aws.s3_daily_storage.number_of_objects
    • aws.s3_daily_storage.bucket.size.bytes
  • 请求指标

    • aws.s3_request.requests.total
    • aws.s3_request.requests.get
    • aws.s3_request.requests.put
    • aws.s3_request.requests.delete
    • aws.s3_request.requests.head
    • aws.s3_request.requests.post
    • aws.s3_request.requests.select
    • aws.s3_request.requests.list
    • aws.s3_request.requests.select_scanned.bytes
    • aws.s3_request.requests.select_returned.bytes
    • aws.s3_request.downloaded.bytes
    • aws.s3_request.uploaded.bytes
    • aws.s3_request.downloaded.bytes_per_period
    • aws.s3_request.uploaded.bytes_per_period
    • aws.s3_request.errors.4xx
    • aws.s3_request.errors.5xx
    • aws.s3_request.latency.first_byte.ms
    • aws.s3_request.latency.total_request.ms