监控 Amazon Kinesis 数据流
编辑监控 Amazon Kinesis 数据流
编辑Amazon Kinesis 数据流是一种实时数据流服务,可用于捕获、处理和存储来自各种来源的大量数据,包括网站、移动应用程序、物联网设备等。
Amazon Kinesis 数据流和 Amazon CloudWatch 集成在一起,因此您可以收集和监控 Kinesis 数据流的 CloudWatch 指标,例如跟踪分片使用情况和记录每个 Kinesis 数据流的相关操作。Elastic Amazon Kinesis 数据流集成使用 Elastic Agent 从 Amazon CloudWatch 收集指标。
默认情况下,Kinesis 数据流每分钟会自动向 CloudWatch 发送流级别(基本级别)指标。还有每分钟发送到 CloudWatch 的分片级别数据(增强级别),每个流都会产生额外的成本。要获取分片级别数据,您必须使用 AWS Kinesis enable-enhanced-monitoring
API 为每个流专门启用它。例如
aws kinesis enable-enhanced-monitoring --stream-name samplestream --shard-level-metrics ALL
有关更多详细信息,请参阅 EnableEnhancedMonitoring 文档。
开始使用
编辑要从 Amazon CloudWatch 收集 Kinesis 数据流指标,您通常需要安装 Elastic Amazon Kinesis 数据流集成并部署 Elastic Agent。
展开 快速指南 以了解如何操作,如果您的数据已在 Elasticsearch 中,请跳到下一节。
快速指南:添加数据
Elastic Agent 目前是添加 Kinesis 数据流指标的首选方式。有关其他方式,请参阅 将数据添加到 Elasticsearch。
仪表板
编辑Kibana 提供了一个完整的数据分析平台,其中包含开箱即用的仪表板,您可以克隆和增强这些仪表板以满足您的自定义可视化用例。例如,要在 Kibana 中查看 Kinesis 数据流的概述,请转到 仪表板 应用并导航到 [指标 AWS] Kinesis 概述 仪表板。
要监视的指标
编辑本节列出了您应该监视的关键指标,按类别组织。有关集成导出的字段的完整描述,请参阅 Amazon Kinesis 数据流集成 文档。
-
GetRecords
-
aws.kinesis.metrics.GetRecords.Bytes.avg
-
aws.kinesis.metrics.GetRecords.IteratorAgeMilliseconds.avg
-
aws.kinesis.metrics.GetRecords.Latency.avg
-
aws.kinesis.metrics.GetRecords.Records.avg
-
aws.kinesis.metrics.GetRecords.Records.sum
-
aws.kinesis.metrics.GetRecords.Success.avg
-
aws.kinesis.metrics.GetRecords.Success.sum
-
aws.kinesis.metrics.ReadProvisionedThroughputExceeded.avg
-
aws.kinesis.metrics.IteratorAgeMilliseconds.avg
-
-
PutRecord
-
aws.kinesis.metrics.PutRecord.Bytes.avg
-
aws.kinesis.metrics.PutRecord.Latency.avg
-
aws.kinesis.metrics.PutRecord.Success.avg
-
-
PutRecords
-
aws.kinesis.metrics.PutRecords.Bytes.avg
-
aws.kinesis.metrics.PutRecords.Latency.avg
-
aws.kinesis.metrics.PutRecords.Success.avg
-
aws.kinesis.metrics.PutRecords.TotalRecords.sum
-
aws.kinesis.metrics.PutRecords.SuccessfulRecords.sum
-
aws.kinesis.metrics.PutRecords.FailedRecords.sum
-
aws.kinesis.metrics.PutRecords.ThrottleRecords.sum
-
aws.kinesis.metrics.WriteProvisionedThroughputExceeded.avg
-
-
传入和传出
-
aws.kinesis.metrics.IncomingBytes.avg
-
aws.kinesis.metrics.IncomingRecords.avg
-
aws.kinesis.metrics.OutgoingBytes.avg
-
aws.kinesis.metrics.OutgoingRecords.avg
-
aws.kinesis.metrics.OutgoingRecords.sum
-
-
SubscribeToShard
-
aws.kinesis.metrics.SubscribeToShard.RateExceeded.avg
-
aws.kinesis.metrics.SubscribeToShard.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Bytes.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.MillisBehindLatest.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Success.avg
-
aws.kinesis.metrics.SubscribeToShardEvent.Records.sum
-