监控 Amazon Kinesis 数据流
编辑监控 Amazon Kinesis 数据流
编辑Amazon Kinesis 数据流 是一种实时数据流服务,您可以使用它来捕获、处理和存储来自各种来源的大量数据,包括网站、移动应用程序、物联网设备等等。
Amazon Kinesis 数据流和 Amazon CloudWatch 集成在一起,以便您可以收集和监控 Kinesis 数据流的 CloudWatch 指标,例如跟踪分片使用情况并记录每个 Kinesis 数据流的相关操作。Elastic Amazon Kinesis 数据流集成 使用 Elastic Agent 从 Amazon CloudWatch 收集指标。
默认情况下,Kinesis 数据流会每分钟自动将流级别(基本级别)指标发送到 CloudWatch。还存在分片级别数据(增强级别),它每分钟发送到 CloudWatch,并且每个流会产生额外费用。要获取分片级别数据,您必须使用 AWS Kinesis enable-enhanced-monitoring
API 为每个流专门启用它。例如
aws kinesis enable-enhanced-monitoring --stream-name samplestream --shard-level-metrics ALL
有关更多详细信息,请参阅 EnableEnhancedMonitoring 文档。
开始使用
编辑要从 Amazon CloudWatch 收集 Kinesis 数据流指标,您通常需要安装 Elastic Amazon Kinesis 数据流集成 并部署 Elastic Agent。
展开快速指南以了解如何操作,或者如果您的数据已在 Elasticsearch 中,则跳到下一节。
快速指南:添加数据
Elastic Agent 目前是添加 Kinesis 数据流指标的首选方法。有关其他方法,请参阅 将数据添加到 Elasticsearch。
仪表板
编辑Kibana 提供了一个完整的全功能数据分析平台,并配有开箱即用的仪表板,您可以克隆和增强这些仪表板以满足您自定义可视化用例的需求。例如,要查看 Kibana 中 Kinesis 数据流的概述,请转到仪表板应用程序并导航到[指标 AWS] Kinesis 概述仪表板。
要观察的指标
编辑本节列出了您应该观察的关键指标,并按类别组织。有关集成导出的字段的完整描述,请参阅 Amazon Kinesis 数据流集成 文档。
-
GetRecords
-
aws.kinesis.metrics.GetRecords.Bytes.avg
-
aws.kinesis.metrics.GetRecords.IteratorAgeMilliseconds.avg
-
aws.kinesis.metrics.GetRecords.Latency.avg
-
aws.kinesis.metrics.GetRecords.Records.avg
-
aws.kinesis.metrics.GetRecords.Records.sum
-
aws.kinesis.metrics.GetRecords.Success.avg
-
aws.kinesis.metrics.GetRecords.Success.sum
-
aws.kinesis.metrics.ReadProvisionedThroughputExceeded.avg
-
aws.kinesis.metrics.IteratorAgeMilliseconds.avg
-
-
PutRecord
-
aws.kinesis.metrics.PutRecord.Bytes.avg
-
aws.kinesis.metrics.PutRecord.Latency.avg
-
aws.kinesis.metrics.PutRecord.Success.avg
-
-
PutRecords
-
aws.kinesis.metrics.PutRecords.Bytes.avg
-
aws.kinesis.metrics.PutRecords.Latency.avg
-
aws.kinesis.metrics.PutRecords.Success.avg
-
aws.kinesis.metrics.PutRecords.TotalRecords.sum
-
aws.kinesis.metrics.PutRecords.SuccessfulRecords.sum
-
aws.kinesis.metrics.PutRecords.FailedRecords.sum
-
aws.kinesis.metrics.PutRecords.ThrottleRecords.sum
-
aws.kinesis.metrics.WriteProvisionedThroughputExceeded.avg
-
-
传入和传出
-
aws.kinesis.metrics.IncomingBytes.avg
-
aws.kinesis.metrics.IncomingRecords.avg
-
aws.kinesis.metrics.OutgoingBytes.avg
-
aws.kinesis.metrics.OutgoingRecords.avg
-
aws.kinesis.metrics.OutgoingRecords.sum
-
-
SubscribeToShard
-
aws.kinesis.metrics.SubscribeToShard.RateExceeded.avg
-
aws.kinesis.metrics.SubscribeToShard.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Bytes.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.MillisBehindLatest.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Records.sum
-