监控 Amazon Kinesis 数据流编辑

Amazon Kinesis 数据流 是一种实时数据流服务,您可以使用它从各种来源捕获、处理和存储大量数据,包括网站、移动应用程序、物联网设备等等。

Amazon Kinesis 数据流和 Amazon CloudWatch 集成在一起,因此您可以收集和监控 Kinesis 数据流的 CloudWatch 指标,例如跟踪分片使用情况并记录每个 Kinesis 数据流的相关操作。Elastic Amazon Kinesis 数据流集成 使用 Elastic Agent 从 Amazon CloudWatch 收集指标。

默认情况下,Kinesis 数据流会每分钟自动将流级(基本级)指标发送到 CloudWatch。还有一些分片级数据(增强级)会每分钟发送到 CloudWatch,并且会对每个流产生额外的费用。要获取分片级数据,您必须使用 AWS Kinesis enable-enhanced-monitoring API 为每个流专门启用它。例如

aws kinesis enable-enhanced-monitoring --stream-name samplestream --shard-level-metrics ALL

有关更多详细信息,请参阅 EnableEnhancedMonitoring 文档。

入门编辑

要从 Amazon CloudWatch 收集 Kinesis 数据流指标,您通常需要安装 Elastic Amazon Kinesis 数据流集成 并部署 Elastic Agent。

展开 快速指南 以了解如何操作,或者如果您的数据已在 Elasticsearch 中,则跳过下一部分。

快速指南:添加数据

Elastic Agent 目前是添加 Kinesis 数据流指标的首选方法。有关其他方法,请参阅 将数据添加到 Elasticsearch

仪表板编辑

{kibana-desc} 例如,要在 Kibana 中查看 Kinesis 数据流的概述,请转到 仪表板 应用程序并导航到 [指标 AWS] Kinesis 概述 仪表板。

Screenshot showing the Kinesis overview dashboard
要监控的指标编辑

本节列出了您应该监控的关键指标,按类别组织。有关集成导出的字段的完整描述,请参阅 Amazon Kinesis 数据流集成 文档。

  • GetRecords

    • aws.kinesis.metrics.GetRecords.Bytes.avg
    • aws.kinesis.metrics.GetRecords.IteratorAgeMilliseconds.avg
    • aws.kinesis.metrics.GetRecords.Latency.avg
    • aws.kinesis.metrics.GetRecords.Records.avg
    • aws.kinesis.metrics.GetRecords.Records.sum
    • aws.kinesis.metrics.GetRecords.Success.avg
    • aws.kinesis.metrics.GetRecords.Success.sum
    • aws.kinesis.metrics.ReadProvisionedThroughputExceeded.avg
    • aws.kinesis.metrics.IteratorAgeMilliseconds.avg
  • PutRecord

    • aws.kinesis.metrics.PutRecord.Bytes.avg
    • aws.kinesis.metrics.PutRecord.Latency.avg
    • aws.kinesis.metrics.PutRecord.Success.avg
  • PutRecords

    • aws.kinesis.metrics.PutRecords.Bytes.avg
    • aws.kinesis.metrics.PutRecords.Latency.avg
    • aws.kinesis.metrics.PutRecords.Success.avg
    • aws.kinesis.metrics.PutRecords.TotalRecords.sum
    • aws.kinesis.metrics.PutRecords.SuccessfulRecords.sum
    • aws.kinesis.metrics.PutRecords.FailedRecords.sum
    • aws.kinesis.metrics.PutRecords.ThrottleRecords.sum
    • aws.kinesis.metrics.WriteProvisionedThroughputExceeded.avg
  • 传入和传出

    • aws.kinesis.metrics.IncomingBytes.avg
    • aws.kinesis.metrics.IncomingRecords.avg
    • aws.kinesis.metrics.OutgoingBytes.avg
    • aws.kinesis.metrics.OutgoingRecords.avg
    • aws.kinesis.metrics.OutgoingRecords.sum
  • SubscribeToShard

    • aws.kinesis.metrics.SubscribeToShard.RateExceeded.avg
    • aws.kinesis.metrics.SubscribeToShard.Success.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Bytes.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.MillisBehindLatest.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Success.avg
    • aws.kinesis.metrics.SubscribeToShardEvent.Records.sum