监控 Amazon Kinesis 数据流

编辑

Amazon Kinesis 数据流是一种实时数据流服务,可用于捕获、处理和存储来自各种来源的大量数据,包括网站、移动应用程序、物联网设备等。

Amazon Kinesis 数据流和 Amazon CloudWatch 集成在一起,因此您可以收集和监控 Kinesis 数据流的 CloudWatch 指标,例如跟踪分片使用情况和记录每个 Kinesis 数据流的相关操作。Elastic Amazon Kinesis 数据流集成使用 Elastic Agent 从 Amazon CloudWatch 收集指标。

默认情况下,Kinesis 数据流每分钟会自动向 CloudWatch 发送流级别(基本级别)指标。还有每分钟发送到 CloudWatch 的分片级别数据(增强级别),每个流都会产生额外的成本。要获取分片级别数据,您必须使用 AWS Kinesis enable-enhanced-monitoring API 为每个流专门启用它。例如

aws kinesis enable-enhanced-monitoring --stream-name samplestream --shard-level-metrics ALL

有关更多详细信息,请参阅 EnableEnhancedMonitoring 文档。

开始使用
编辑

要从 Amazon CloudWatch 收集 Kinesis 数据流指标,您通常需要安装 Elastic Amazon Kinesis 数据流集成并部署 Elastic Agent。

展开 快速指南 以了解如何操作,如果您的数据已在 Elasticsearch 中,请跳到下一节。

快速指南:添加数据

Elastic Agent 目前是添加 Kinesis 数据流指标的首选方式。有关其他方式,请参阅 将数据添加到 Elasticsearch

仪表板
编辑

Kibana 提供了一个完整的数据分析平台,其中包含开箱即用的仪表板,您可以克隆和增强这些仪表板以满足您的自定义可视化用例。例如,要在 Kibana 中查看 Kinesis 数据流的概述,请转到 仪表板 应用并导航到 [指标 AWS] Kinesis 概述 仪表板。

Screenshot showing the Kinesis overview dashboard
要监视的指标
编辑

本节列出了您应该监视的关键指标,按类别组织。有关集成导出的字段的完整描述,请参阅 Amazon Kinesis 数据流集成 文档。

  • GetRecords

    • aws.kinesis.metrics.GetRecords.Bytes.avg
    • aws.kinesis.metrics.GetRecords.IteratorAgeMilliseconds.avg
    • aws.kinesis.metrics.GetRecords.Latency.avg
    • aws.kinesis.metrics.GetRecords.Records.avg
    • aws.kinesis.metrics.GetRecords.Records.sum
    • aws.kinesis.metrics.GetRecords.Success.avg
    • aws.kinesis.metrics.GetRecords.Success.sum
    • aws.kinesis.metrics.ReadProvisionedThroughputExceeded.avg
    • aws.kinesis.metrics.IteratorAgeMilliseconds.avg
  • PutRecord

    • aws.kinesis.metrics.PutRecord.Bytes.avg
    • aws.kinesis.metrics.PutRecord.Latency.avg
    • aws.kinesis.metrics.PutRecord.Success.avg
  • PutRecords

    • aws.kinesis.metrics.PutRecords.Bytes.avg
    • aws.kinesis.metrics.PutRecords.Latency.avg
    • aws.kinesis.metrics.PutRecords.Success.avg
    • aws.kinesis.metrics.PutRecords.TotalRecords.sum
    • aws.kinesis.metrics.PutRecords.SuccessfulRecords.sum
    • aws.kinesis.metrics.PutRecords.FailedRecords.sum
    • aws.kinesis.metrics.PutRecords.ThrottleRecords.sum
    • aws.kinesis.metrics.WriteProvisionedThroughputExceeded.avg
  • 传入和传出

    • aws.kinesis.metrics.IncomingBytes.avg
    • aws.kinesis.metrics.IncomingRecords.avg
    • aws.kinesis.metrics.OutgoingBytes.avg
    • aws.kinesis.metrics.OutgoingRecords.avg
    • aws.kinesis.metrics.OutgoingRecords.sum
  • SubscribeToShard

    • aws.kinesis.metrics.SubscribeToShard.RateExceeded.avg
    • aws.kinesis.metrics.SubscribeToShard.Success.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Bytes.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.MillisBehindLatest.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Success.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Records.sum