AWS Fargate 模块

此模块可用于从 Fargate 上的 Amazon ECS 收集容器日志。它使用 filebeat awscloudwatch 输入从 AWS CloudWatch 中的一个或多个日志流获取日志文件。通过在任务定义的 logConfiguration 部分添加 awslogs 日志驱动程序，可以将 Fargate 启动类型任务中所有容器的日志发送到 CloudWatch。例如，可以通过将此部分添加到 containerDefinitions 中来将 logConfiguration 添加到任务定义中。

{
   "logDriver":"awslogs",
   "options":{
      "awslogs-group":"awslogs-wordpress",
      "awslogs-region":"us-west-2",
      "awslogs-stream-prefix":"awslogs-example"
   }
}

awsfargate 模块需要 AWS 凭证配置才能进行 AWS API 调用。用户可以使用 access_key_id、secret_access_key 和/或 session_token，或使用 role_arn AWS IAM 角色，或使用共享的 AWS 凭证文件。

有关更多详细信息，请参见 AWS 凭证选项。

示例配置

- module: awsfargate
  log:
    enabled: true
    var.credential_profile_name: test-filebeat
    var.log_group_arn: arn:aws:logs:us-east-1:1234567890:log-group:/ecs/test-log-group:*

要配置 AWS 凭证，请将凭证放入 Filebeat 配置中，或使用共享凭证文件，如下例所示。

用户可以将凭证放入 Metricbeat 模块配置中，也可以使用环境变量 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY 和/或 AWS_SESSION_TOKEN。

如果在 Docker 上运行，则应将这些环境变量作为 docker 命令的一部分添加。例如，使用 Metricbeat

$ docker run -e AWS_ACCESS_KEY_ID=abcd -e AWS_SECRET_ACCESS_KEY=abcd -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 看起来像这样

metricbeat.modules:
- module: aws
  period: 5m
  access_key_id: ${AWS_ACCESS_KEY_ID}
  secret_access_key: ${AWS_SECRET_ACCESS_KEY}
  session_token: ${AWS_SESSION_TOKEN}
  metricsets:
    - ec2

也可以通过文件添加环境变量。例如

$ cat env.list
AWS_ACCESS_KEY_ID=abcd
AWS_SECRET_ACCESS_KEY=abcd

$ docker run --env-file env.list -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

如果 access_key_id、secret_access_key 和 role_arn 均未提供，则 filebeat 将检查 credential_profile_name。如果您对不同的工具或应用程序使用不同的凭证，则可以使用配置文件在同一个配置文件中配置多个访问密钥。如果没有提供 credential_profile_name，则将使用默认配置文件。

shared_credential_file 可选，用于指定共享凭证文件的目录。如果为空，则将使用默认目录。在 Windows 中，共享凭证文件位于 C:\Users\<您的用户名>\.aws\credentials。对于 Linux、macOS 或 Unix，该文件位于 ~/.aws/credentials。以服务身份运行时，home 路径取决于管理服务的用户，因此可以使用 shared_credential_file 参数来避免歧义。有关更多详细信息，请参见 创建共享凭证文件。

role_arn 用于指定要用于生成临时凭证的 AWS IAM 角色。如果提供了 role_arn，filebeat 将检查是否提供了访问密钥。如果没有，filebeat 将检查凭证配置文件名称。如果两者都没有提供，则将使用默认凭证配置文件。请确保在凭证配置文件或访问密钥下提供了凭证。

如果在 Docker 上运行，则需要通过卷挂载提供凭证文件。例如，使用 Metricbeat

docker run -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" --volume="/Users/foo/.aws/credentials:/usr/share/metricbeat/credentials:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 看起来像这样

metricbeat.modules:
- module: aws
  period: 5m
  credential_profile_name: elastic-beats
  shared_credential_file: /usr/share/metricbeat/credentials
  metricsets:
    - ec2

可以使用两种不同类型的 AWS 凭证：访问密钥和临时安全凭证。

AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 是访问密钥的两个部分。它们是 IAM 用户或 AWS 帐户根用户的长期凭证。有关更多详细信息，请参见 AWS 访问密钥和秘密访问密钥。

IAM 角色是在您的帐户中可以创建的 IAM 身份，它具有确定该身份在 AWS 中可以执行和不能执行的操作的特定权限。角色没有与之关联的标准长期凭证，例如密码或访问密钥。相反，当您承担角色时，它会为您提供的角色会话提供临时安全凭证。可以使用 IAM 角色 Amazon 资源名称 (ARN) 指定要承担以生成临时凭证的 AWS IAM 角色。有关更多详细信息，请参见 AssumeRole API 文档。

以下是使用 AWS CLI 为 Metricbeat 设置 IAM 角色的步骤。请将 123456789012 替换为您自己的帐户 ID。

步骤 1. 创建 example-policy.json 文件以包含所有权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "sqs:ReceiveMessage"
            ],
            "Resource": "*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "sqs:ChangeMessageVisibility",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sqs:DeleteMessage",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "sts:AssumeRole",
                "sqs:ListQueues",
                "tag:GetResources",
                "ec2:DescribeInstances",
                "cloudwatch:GetMetricData",
                "ec2:DescribeRegions",
                "iam:ListAccountAliases",
                "sts:GetCallerIdentity",
                "cloudwatch:ListMetrics"
            ],
            "Resource": "*"
        }
    ]
}

步骤 2. 使用 aws iam create-policy 命令创建 IAM 策略

$ aws iam create-policy --policy-name example-policy --policy-document file://example-policy.json

步骤 3. 创建定义 IAM 角色信任关系的 JSON 文件 example-role-trust-policy.json

{
    "Version": "2012-10-17",
    "Statement": {
        "Effect": "Allow",
        "Principal": { "AWS": "arn:aws:iam::123456789012:root" },
        "Action": "sts:AssumeRole"
    }
}

步骤 4. 创建 IAM 角色并附加策略

$ aws iam create-role --role-name example-role --assume-role-policy-document file://example-role-trust-policy.json
$ aws iam attach-role-policy --role-name example-role --policy-arn "arn:aws:iam::123456789012:policy/example-policy"

完成这些步骤后，可以在 Metricbeat aws 模块中使用 IAM 角色 ARN 进行身份验证。

临时安全凭证具有有限的生命周期，包括访问密钥 ID、秘密访问密钥和安全令牌，这些通常由 GetSessionToken 返回。启用 MFA 的 IAM 用户在调用 GetSessionToken 时需要提交 MFA 代码。有关更多详细信息，请参阅 临时安全凭证。sts get-session-token AWS CLI 可用于生成临时凭证。例如，启用 MFA 的

aws> sts get-session-token --serial-number arn:aws:iam::1234:mfa/[email protected] --token-code 456789 --duration-seconds 129600

由于临时安全凭证是短期有效的，因此在它们过期后，用户需要生成新的凭证并使用新的凭证修改 aws.yml 配置文件。除非为 Metricbeat 启用了 实时重新加载 功能，否则用户需要在更新配置文件后手动重启 Metricbeat 才能继续收集 Cloudwatch 指标。如果在旧凭证过期前未用新凭证更新配置文件，这将导致数据丢失。对于 Metricbeat，我们建议用户在配置文件中使用访问密钥来启用 aws 模块，从而无需生成新的临时凭证并频繁更新配置。

IAM 策略是定义 AWS 环境中对象权限的实体。需要将特定权限添加到 IAM 用户的策略中，以授权 Metricbeat 收集 AWS 监控指标。请参阅每个指标集下的文档以了解所需的权限。

有关模块中每个字段的描述，请参阅 导出字段 部分。