« Auditd 模块 AWS Fargate 模块 »
Elastic 文档 ›Filebeat 参考 [8.16] ›模块

AWS 模块

编辑

AWS 模块

编辑

推荐使用 Elastic Agent 来处理此用例？

请参考 Elastic 集成文档。

了解更多

Elastic Agent 是一种单一统一的方式，用于向主机添加日志、指标和其他类型数据的监控。它还可以保护主机免受安全威胁，查询操作系统数据，转发来自远程服务或硬件的数据等等。请参考文档中关于 Beats 和 Elastic Agent 的详细比较。

这是一个用于 AWS 日志的模块。它使用 Filebeat 的 S3 输入从 AWS S3 存储桶中获取日志文件，可以使用 SQS 通知或直接轮询 S3 存储桶中的 S3 对象列表。推荐使用 SQS 通知：轮询 S3 对象列表在性能和成本方面代价高昂，并且无法在不出现数据重复摄取的情况下进行水平扩展，最好只在无法将 SQS 通知附加到 S3 存储桶时才使用。

此模块支持使用 s3access 文件集读取 S3 服务器访问日志，使用 elb 文件集读取 ELB 访问日志，使用 vpcflow 文件集读取 VPC 流日志，以及使用 cloudtrail 文件集读取 CloudTrail 日志。

访问日志包含有关对这些服务发出的请求的详细信息。VPC 流日志捕获有关进出 AWS VPC 中网络接口的 IP 流量的信息。ELB 访问日志捕获有关发送到负载均衡器的请求的详细信息。CloudTrail 日志包含表示用户、角色或 AWS 服务执行的操作的事件。

aws 模块需要 AWS 凭证配置才能进行 AWS API 调用。用户可以使用 access_key_id、secret_access_key 和/或 session_token，或使用 role_arn AWS IAM 角色，或使用共享的 AWS 凭证文件。

用户可以使用 external_id 来支持在另一个账户中承担角色，请参见 AWS 文档中关于 external ID 用法的说明。

请参阅 AWS 凭证选项 获取更多详细信息。

阅读 快速入门 以了解如何配置和运行模块。

模块配置

编辑

示例配置

- module: aws
  cloudtrail:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  cloudwatch:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  ec2:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  elb:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  s3access:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  vpcflow:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080
var.queue_url
AWS SQS 队列 URL（当未设置 var.bucket_arn 时必填）。
var.visibility_timeout
接收的消息从 ReceiveMessage 请求中隐藏的持续时间。默认为 300 秒。
var.api_timeout
AWS API 调用的最大持续时间。如果超过超时时间，AWS API 调用将被中断。默认的 AWS API 超时时间为 120s。

API 超时时间必须长于 sqs.wait_time 值。

var.bucket_arn
AWS S3 存储桶 ARN（当未设置 var.queue_url 时必填）。
var.number_of_workers
将处理列出的 S3 对象的工作程序数量（当设置 var.bucket_arn 时必填）。用于垂直扩展输入。
var.bucket_list_interval
完成对 S3 存储桶的列表请求和开始下一个列表请求之间的等待间隔。默认为 120 秒。
var.bucket_list_prefix
应用于对 S3 存储桶的列表请求的前缀。默认为空。
var.endpoint
用于访问 AWS API 的自定义端点。
var.default_region
如果未设置其他区域，则查询的默认区域。
var.shared_credential_file
AWS 凭证文件的名称。
var.credential_profile_name
AWS 凭证配置文件名称。
var.access_key_id
访问密钥的第一部分。
var.secret_access_key
访问密钥的第二部分。
var.session_token
使用临时安全凭证时必填。
var.role_arn
要承担的 AWS IAM 角色。

配置行为

编辑

请注意，如果 var.queue_url 和 var.bucket_arn 都未设置，则不会因配置验证错误而导致 Filebeat 无法启动，只会停止特定的文件集输入并打印警告。

2021-08-26T14:33:03.661-0600 WARN [aws-s3] awss3/config.go:54 neither queue_url nor bucket_arn were provided, input aws-s3 will stop
2021-08-26T14:33:10.668-0600 INFO [input.aws-s3] compat/compat.go:111 Input aws-s3 starting {"id": "29F3565F5B2A7070"}
2021-08-26T14:33:10.668-0600 INFO [input.aws-s3] compat/compat.go:124 Input 'aws-s3' stopped {"id": "29F3565F5B2A7070"}

此行为是为了减少对现有 Filebeat 设置的破坏，在现有 Filebeat 设置中并非所有 AWS 模块的文件集都被定义，这将在下一个主要版本中更改。

在未使用的文件集中设置 enabled: false 将消除警告，这是建议的设置。例如（假设 cloudtrail 为未使用的文件集）

- module: aws
  cloudtrail:
    enabled: false

cloudtrail 文件集

编辑

CloudTrail 监控账户的事件。如果用户创建跟踪，它会将这些事件作为日志文件传递到特定的 Amazon S3 存储桶。cloudtrail 文件集不会读取启用日志文件完整性时传递到 S3 存储桶的 CloudTrail 摘要文件，它只读取 CloudTrail 日志。

filebeat aws cloudtrail

cloudwatch 文件集

编辑

用户可以使用 Amazon CloudWatch Logs 来监控、存储和访问来自不同来源的日志文件。将日志从日志组导出到已设置 SQS 通知功能的 Amazon S3 存储桶。此文件集会将这些日志解析为 timestamp 和 message 字段。

ec2 文件集

编辑

此文件集专门用于存储在 AWS CloudWatch 中的 EC2 日志。将日志从日志组导出到已设置 SQS 通知功能的 Amazon S3 存储桶。使用此文件集，EC2 日志将被解析为 ip 和 program_name 等字段。对于来自其他服务的日志，请使用 cloudwatch 文件集。

elb 文件集

编辑

弹性负载均衡提供访问日志，这些日志捕获有关发送到负载均衡器的请求的详细信息。每个日志都包含诸如接收请求的时间、客户端的 IP 地址、延迟、请求路径和服务器响应等信息。用户可以使用这些访问日志来分析流量模式并排除问题。

请遵循 为经典负载均衡器启用访问日志 将经典 ELB 访问日志发送到 S3 存储桶。对于应用程序负载均衡器，请遵循 为应用程序负载均衡器启用访问日志。对于网络负载均衡器，请遵循 为网络负载均衡器启用访问日志。

此文件集带有一个预定义的仪表板

filebeat aws elb overview

s3access 文件集

编辑

服务器访问日志记录为对存储桶发出的请求提供详细记录。服务器访问日志对于许多应用程序很有用。例如，访问日志信息在安全和访问审核中非常有用。它还可以帮助您了解客户群并了解 Amazon S3 账单。

请遵循 如何启用服务器访问日志记录 将服务器访问日志发送到 S3 存储桶。

此文件集带有一个预定义的仪表板

filebeat aws s3access overview

vpcflow 文件集

编辑

VPC 流日志是 AWS 中的一项功能，使用户能够捕获有关进出 VPC 中网络接口的 IP 流量的信息。流日志数据需要发布到 Amazon S3，以便 vpcflow 文件集可以检索。流日志可以帮助用户监控到达每个实例的流量并确定进出网络接口的流量方向。

此文件集带有一个预定义的仪表板

filebeat aws vpcflow overview

AWS 凭证配置

编辑

要配置 AWS 凭证，请将凭证放入 Filebeat 配置中，或使用共享凭证文件，如下例所示。

配置参数

编辑
  • access_key_id：访问密钥的第一部分。
  • secret_access_key：访问密钥的第二部分。
  • session_token：使用临时安全凭证时必填。
  • credential_profile_name：共享凭证文件中的配置文件名称。
  • shared_credential_file：共享凭证文件的目录。
  • role_arn：要承担的 AWS IAM 角色。
  • external_id：在另一个账户中承担角色时使用的 external ID，请参见 AWS 文档中关于 external ID 用法的说明。
  • proxy_url：用于连接到 AWS 网络服务的代理的 URL。语法为 http(s)://<IP/Hostname>:<port>
  • fips_enabled：启用此选项指示 Filebeat 使用服务的 FIPS 端点。Filebeat 使用的所有服务都与 FIPS 兼容，除了 tagging，但只有某些区域与 FIPS 兼容。请参见 https://aws.amazon.com/compliance/fips/ 或相应的服务页面 https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html，以获取 FIPS 端点和区域的完整列表。
  • ssl：这指定了 SSL/TLS 配置。如果缺少 ssl 部分，则主机 CA 用于 HTTPS 连接。有关更多信息，请参见 SSL。
  • default_region：如果未设置其他区域，则查询的默认区域。大多数 AWS 服务都提供可用于发出请求的区域端点。某些服务（如 IAM）不支持区域。如果未通过任何其他方式（环境变量、凭证或实例配置文件）提供区域，则将使用此处设置的值。
  • assume_role.duration：请求的承担角色会话的持续时间。未设置时默认为 15 分钟。AWS 允许的最大会话持续时间在 1 小时到 12 小时之间，具体取决于您的最大会话持续时间策略。
  • assume_role.expiry_window：expiry_window 允许在会话过期之前刷新会话。这有助于防止过期的令牌导致请求因 ExpiredTokenException 而失败。

支持的格式

编辑

本节中的示例是指 Metricbeat，但无论使用哪个 Beat，用于对 AWS 进行身份验证的凭证选项都是相同的。

  • 使用 access_key_id、secret_access_key 和/或 session_token

用户可以将凭据放入 Metricbeat 模块配置中，也可以使用环境变量 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY 和/或 AWS_SESSION_TOKEN。

如果在 Docker 上运行，则应将这些环境变量作为 docker 命令的一部分添加。例如，使用 Metricbeat

$ docker run -e AWS_ACCESS_KEY_ID=abcd -e AWS_SECRET_ACCESS_KEY=abcd -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 文件如下所示

metricbeat.modules:
- module: aws
  period: 5m
  access_key_id: ${AWS_ACCESS_KEY_ID}
  secret_access_key: ${AWS_SECRET_ACCESS_KEY}
  session_token: ${AWS_SESSION_TOKEN}
  metricsets:
    - ec2

环境变量也可以通过文件添加。例如

$ cat env.list
AWS_ACCESS_KEY_ID=abcd
AWS_SECRET_ACCESS_KEY=abcd

$ docker run --env-file env.list -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234
  • 使用 credential_profile_name 和/或 shared_credential_file

如果未同时提供 access_key_id、secret_access_key 和 role_arn，则 Filebeat 将检查 credential_profile_name。如果对不同的工具或应用程序使用不同的凭据，则可以使用配置文件在一个配置文件中配置多个访问密钥。如果没有提供 credential_profile_name，则将使用默认配置文件。

shared_credential_file 用于指定共享凭据文件的目录，可选参数。如果为空，则使用默认目录。在 Windows 系统中，共享凭据文件位于 C:\Users\<yourUserName>\.aws\credentials。对于 Linux、macOS 或 Unix 系统，该文件位于 ~/.aws/credentials。以服务方式运行时，主目录路径取决于管理服务的用户，因此可以使用 shared_credential_file 参数避免歧义。更多详情，请参见 创建共享凭据文件。

  • 使用 role_arn

role_arn 用于指定要为生成临时凭据而假定的 AWS IAM 角色。如果提供了 role_arn，Filebeat 将检查是否提供了访问密钥。如果没有，Filebeat 将检查凭据配置文件名称。如果两者都没有提供，则将使用默认凭据配置文件。请确保在凭据配置文件或访问密钥下提供了凭据。

如果在 Docker 上运行，则需要通过卷挂载提供凭据文件。例如，使用 Metricbeat

docker run -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" --volume="/Users/foo/.aws/credentials:/usr/share/metricbeat/credentials:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 文件如下所示

metricbeat.modules:
- module: aws
  period: 5m
  credential_profile_name: elastic-beats
  shared_credential_file: /usr/share/metricbeat/credentials
  metricsets:
    - ec2

  • 在 Filebeat 配置中使用 AWS 凭据

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  access_key_id: '<access_key_id>'
  secret_access_key: '<secret_access_key>'
  session_token: '<session_token>'

    或者

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  access_key_id: '${AWS_ACCESS_KEY_ID:""}'
  secret_access_key: '${AWS_SECRET_ACCESS_KEY:""}'
  session_token: '${AWS_SESSION_TOKEN:""}'

  • 使用 IAM 角色 ARN

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  role_arn: arn:aws:iam::123456789012:role/test-mb

  • 使用共享的 AWS 凭据文件

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  credential_profile_name: test-fb

AWS 凭据类型

编辑

可以使用两种不同类型的 AWS 凭据：访问密钥和临时安全凭据。

  • 访问密钥

AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 是访问密钥的两个部分。它们是 IAM 用户或 AWS 账户根用户的长期凭据。更多详情，请参见 AWS 访问密钥和秘密访问密钥。

  • IAM 角色 ARN

IAM 角色是在您的账户中可以创建的 IAM 身份，它具有特定权限，这些权限决定了该身份在 AWS 中可以做什么和不能做什么。角色不具有与之关联的标准长期凭据，例如密码或访问密钥。相反，当您承担角色时，它会为您提供角色会话的临时安全凭据。可以使用 IAM 角色 Amazon 资源名称 (ARN) 来指定要假定以生成临时凭据的 AWS IAM 角色。更多详情，请参见 AssumeRole API 文档。

以下是使用 AWS CLI 为 Metricbeat 设置 IAM 角色的步骤。请将 123456789012 替换为您自己的账户 ID。

步骤 1. 创建 example-policy.json 文件以包含所有权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "sqs:ReceiveMessage"
            ],
            "Resource": "*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "sqs:ChangeMessageVisibility",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sqs:DeleteMessage",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "sts:AssumeRole",
                "sqs:ListQueues",
                "tag:GetResources",
                "ec2:DescribeInstances",
                "cloudwatch:GetMetricData",
                "ec2:DescribeRegions",
                "iam:ListAccountAliases",
                "sts:GetCallerIdentity",
                "cloudwatch:ListMetrics"
            ],
            "Resource": "*"
        }
    ]
}

步骤 2. 使用 aws iam create-policy 命令创建 IAM 策略

$ aws iam create-policy --policy-name example-policy --policy-document file://example-policy.json

步骤 3. 创建定义 IAM 角色信任关系的 JSON 文件 example-role-trust-policy.json

{
    "Version": "2012-10-17",
    "Statement": {
        "Effect": "Allow",
        "Principal": { "AWS": "arn:aws:iam::123456789012:root" },
        "Action": "sts:AssumeRole"
    }
}

步骤 4. 创建 IAM 角色并附加策略

$ aws iam create-role --role-name example-role --assume-role-policy-document file://example-role-trust-policy.json
$ aws iam attach-role-policy --role-name example-role --policy-arn "arn:aws:iam::123456789012:policy/example-policy"

完成这些步骤后，可以在 Metricbeat aws 模块中使用 IAM 角色 ARN 进行身份验证。

  • 临时安全凭据

临时安全凭据具有有限的生存期，并且由访问密钥 ID、秘密访问密钥和安全令牌组成，这些令牌通常由 GetSessionToken 返回。启用 MFA 的 IAM 用户需要在调用 GetSessionToken 时提交 MFA 代码。更多详情，请参见 临时安全凭据。sts get-session-token AWS CLI 可用于生成临时凭据。例如，启用 MFA 的

aws> sts get-session-token --serial-number arn:aws:iam::1234:mfa/[email protected] --token-code 456789 --duration-seconds 129600

由于临时安全凭据是短期有效的，因此在它们过期后，用户需要生成新的凭据并使用新凭据修改 aws.yml 配置文件。除非为 Metricbeat 启用了 实时重新加载 功能，否则用户需要在更新配置文件后手动重启 Metricbeat 才能继续收集 Cloudwatch 指标。如果在旧凭据过期之前没有使用新凭据更新配置文件，这将导致数据丢失。对于 Metricbeat，我们建议用户在配置文件中使用访问密钥来启用 aws 模块，从而无需生成新的临时凭据并频繁更新配置。

IAM 策略是定义对 AWS 环境中对象的权限的实体。需要将特定权限添加到 IAM 用户的策略中，以授权 Metricbeat 收集 AWS 监控指标。有关所需权限，请参阅每个指标集下的文档。

字段

编辑

有关模块中每个字段的说明，请参见 导出字段 部分。

« Auditd 模块 AWS Fargate 模块 »