监控 Amazon Kinesis 数据流
编辑监控 Amazon Kinesis 数据流编辑
Amazon Kinesis 数据流 是一种实时数据流服务,您可以使用它从各种来源捕获、处理和存储大量数据,包括网站、移动应用程序、物联网设备等等。
Amazon Kinesis 数据流和 Amazon CloudWatch 集成在一起,因此您可以收集和监控 Kinesis 数据流的 CloudWatch 指标,例如跟踪分片使用情况并记录每个 Kinesis 数据流的相关操作。Elastic Amazon Kinesis 数据流集成 使用 Elastic Agent 从 Amazon CloudWatch 收集指标。
默认情况下,Kinesis 数据流会每分钟自动将流级(基本级)指标发送到 CloudWatch。还有一些分片级数据(增强级)会每分钟发送到 CloudWatch,并且会对每个流产生额外的费用。要获取分片级数据,您必须使用 AWS Kinesis enable-enhanced-monitoring
API 为每个流专门启用它。例如
aws kinesis enable-enhanced-monitoring --stream-name samplestream --shard-level-metrics ALL
有关更多详细信息,请参阅 EnableEnhancedMonitoring 文档。
入门编辑
要从 Amazon CloudWatch 收集 Kinesis 数据流指标,您通常需要安装 Elastic Amazon Kinesis 数据流集成 并部署 Elastic Agent。
展开 快速指南 以了解如何操作,或者如果您的数据已在 Elasticsearch 中,则跳过下一部分。
快速指南:添加数据
Elastic Agent 目前是添加 Kinesis 数据流指标的首选方法。有关其他方法,请参阅 将数据添加到 Elasticsearch。
仪表板编辑
{kibana-desc} 例如,要在 Kibana 中查看 Kinesis 数据流的概述,请转到 仪表板 应用程序并导航到 [指标 AWS] Kinesis 概述 仪表板。
要监控的指标编辑
本节列出了您应该监控的关键指标,按类别组织。有关集成导出的字段的完整描述,请参阅 Amazon Kinesis 数据流集成 文档。
-
GetRecords
-
aws.kinesis.metrics.GetRecords.Bytes.avg
-
aws.kinesis.metrics.GetRecords.IteratorAgeMilliseconds.avg
-
aws.kinesis.metrics.GetRecords.Latency.avg
-
aws.kinesis.metrics.GetRecords.Records.avg
-
aws.kinesis.metrics.GetRecords.Records.sum
-
aws.kinesis.metrics.GetRecords.Success.avg
-
aws.kinesis.metrics.GetRecords.Success.sum
-
aws.kinesis.metrics.ReadProvisionedThroughputExceeded.avg
-
aws.kinesis.metrics.IteratorAgeMilliseconds.avg
-
-
PutRecord
-
aws.kinesis.metrics.PutRecord.Bytes.avg
-
aws.kinesis.metrics.PutRecord.Latency.avg
-
aws.kinesis.metrics.PutRecord.Success.avg
-
-
PutRecords
-
aws.kinesis.metrics.PutRecords.Bytes.avg
-
aws.kinesis.metrics.PutRecords.Latency.avg
-
aws.kinesis.metrics.PutRecords.Success.avg
-
aws.kinesis.metrics.PutRecords.TotalRecords.sum
-
aws.kinesis.metrics.PutRecords.SuccessfulRecords.sum
-
aws.kinesis.metrics.PutRecords.FailedRecords.sum
-
aws.kinesis.metrics.PutRecords.ThrottleRecords.sum
-
aws.kinesis.metrics.WriteProvisionedThroughputExceeded.avg
-
-
传入和传出
-
aws.kinesis.metrics.IncomingBytes.avg
-
aws.kinesis.metrics.IncomingRecords.avg
-
aws.kinesis.metrics.OutgoingBytes.avg
-
aws.kinesis.metrics.OutgoingRecords.avg
-
aws.kinesis.metrics.OutgoingRecords.sum
-
-
SubscribeToShard
-
aws.kinesis.metrics.SubscribeToShard.RateExceeded.avg
-
aws.kinesis.metrics.SubscribeToShard.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Bytes.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.MillisBehindLatest.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Records.sum
-