AWS Kinesis 度量集

编辑

此功能处于 Beta 阶段,可能会发生变化。其设计和代码不如正式 GA 功能成熟,按“原样”提供,不提供任何担保。Beta 功能不受正式 GA 功能的支持 SLA 约束。

Amazon Kinesis Data Streams 将数据点发送到 CloudWatch 以进行监控,例如跟踪分片使用情况、监控传入字节和传出字节。这些指标会自动收集并每分钟推送到 CloudWatch。监控指标有两个不同的级别

  • 基本(流级别): 流级别数据会每分钟自动发送,无需付费。
  • 增强型(分片级别): 分片级别数据会每分钟发送,需额外付费。要获取此级别的数据,必须使用 EnableEnhancedMonitoring 操作为流专门启用它。

AWS 权限

编辑

IAM 用户需要一些特定的 AWS 权限才能收集 AWS EBS 指标。

ec2:DescribeRegions
cloudwatch:GetMetricData
cloudwatch:ListMetrics
tag:getResources
sts:GetCallerIdentity
iam:ListAccountAliases

仪表盘

编辑

Kinesis 度量集附带一个预定义的仪表盘。例如

metricbeat aws kinesis overview

配置示例

编辑
- module: aws
  period: 1m
  metricsets:
    - kinesis
  # This module uses the aws cloudwatch metricset, all
  # the options for this metricset are also available here.

这是一个默认的度量集。如果主机模块未配置,则默认启用此度量集。

字段

有关度量集中每个字段的描述,请参阅 导出字段 部分。

以下是此度量集生成的文档示例

{
    "@timestamp": "2017-10-12T08:05:34.853Z",
    "aws": {
        "cloudwatch": {
            "namespace": "AWS/Kinesis"
        },
        "dimensions": {
            "StreamName": "fb-test"
        },
        "kinesis": {
            "metrics": {
                "GetRecords_Bytes": {
                    "avg": 0
                },
                "GetRecords_IteratorAgeMilliseconds": {
                    "avg": 0
                },
                "GetRecords_Latency": {
                    "avg": 9.46
                },
                "GetRecords_Records": {
                    "sum": 0
                },
                "GetRecords_Success": {
                    "sum": 150
                },
                "ReadProvisionedThroughputExceeded": {
                    "avg": 0
                }
            }
        }
    },
    "cloud": {
        "account": {
            "id": "428152502467",
            "name": "elastic-beats"
        },
        "provider": "aws",
        "region": "us-west-1"
    },
    "event": {
        "dataset": "aws.kinesis",
        "duration": 115000,
        "module": "aws"
    },
    "metricset": {
        "name": "kinesis",
        "period": 10000
    },
    "service": {
        "type": "aws"
    }
}