« Auditd 模块 AWS Fargate 模块 »
Elastic 文档 ›Filebeat 参考 [8.17] ›模块

AWS 模块

编辑

AWS 模块

编辑

是否希望为此用例使用 Elastic Agent？

请参阅Elastic 集成文档。

了解更多

Elastic Agent 是一种单一、统一的方式，可为主机添加日志、指标和其他类型数据的监控。它还可以保护主机免受安全威胁，查询操作系统中的数据，转发来自远程服务或硬件的数据，等等。有关 Beats 和 Elastic Agent 的详细比较，请参阅文档。

这是一个用于 AWS 日志的模块。它使用 filebeat s3 输入从 AWS S3 存储桶获取日志文件，通过 SQS 通知或直接轮询 S3 存储桶中的 S3 对象列表。优先使用 SQS 通知：轮询 S3 对象列表在性能和成本方面都很昂贵，并且无法在没有重复摄取的情况下水平扩展，因此最好仅在无法将 SQS 通知附加到 S3 存储桶时使用。

该模块支持使用 s3access 文件集读取 S3 服务器访问日志，使用 elb 文件集读取 ELB 访问日志，使用 vpcflow 文件集读取 VPC 流日志，以及使用 cloudtrail 文件集读取 CloudTrail 日志。

访问日志包含有关向这些服务发出的请求的详细信息。VPC 流日志捕获有关进出 AWS VPC 中网络接口的 IP 流量的信息。ELB 访问日志捕获有关发送到负载均衡器的请求的详细信息。CloudTrail 日志包含表示用户、角色或 AWS 服务执行的操作的事件。

aws 模块需要 AWS 凭据配置才能进行 AWS API 调用。用户可以使用 access_key_id、secret_access_key 和/或 session_token，或者使用 role_arn AWS IAM 角色，或者使用共享的 AWS 凭据文件。

用户可以使用 external_id 来支持在另一个账户中承担角色，请参阅AWS 文档，了解如何使用外部 ID。

有关更多详细信息，请参阅AWS 凭据选项。

阅读快速入门，了解如何配置和运行模块。

模块配置

编辑

配置示例

- module: aws
  cloudtrail:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  cloudwatch:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  ec2:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  elb:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  s3access:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080

  vpcflow:
    enabled: false
    #var.queue_url: https://sqs.myregion.amazonaws.com/123456/myqueue
    #var.bucket_arn: 'arn:aws:s3:::mybucket'
    #var.bucket_list_prefix: 'prefix'
    #var.bucket_list_interval: 300s
    #var.number_of_workers: 5
    #var.shared_credential_file: /etc/filebeat/aws_credentials
    #var.credential_profile_name: fb-aws
    #var.access_key_id: access_key_id
    #var.secret_access_key: secret_access_key
    #var.session_token: session_token
    #var.visibility_timeout: 300s
    #var.api_timeout: 120s
    #var.endpoint: amazonaws.com
    #var.default_region: us-east-1
    #var.role_arn: arn:aws:iam::123456789012:role/test-mb
    #var.proxy_url: http://proxy:8080
var.queue_url
AWS SQS 队列 URL（当未设置 var.bucket_arn 时为必需）。
var.visibility_timeout
接收到的消息从 ReceiveMessage 请求中隐藏的持续时间。默认为 300 秒。
var.api_timeout
AWS API 调用的最大持续时间。如果超过超时时间，则 AWS API 调用将中断。默认的 AWS API 超时时间为 120s。

API 超时时间必须长于 sqs.wait_time 值。

var.bucket_arn
AWS S3 存储桶 ARN（当未设置 var.queue_url 时为必需）。
var.number_of_workers
将处理列出的 S3 对象的worker数量（当设置 var.bucket_arn 时为必需）。用于垂直扩展输入。
var.bucket_list_interval
完成对 S3 存储桶的列表请求与开始下一个请求之间的等待间隔。默认为 120 秒。
var.bucket_list_prefix
应用于对 S3 存储桶的列表请求的前缀。默认为空。
var.endpoint
用于访问 AWS API 的自定义端点。
var.default_region
如果未设置其他区域，则要查询的默认区域。
var.shared_credential_file
AWS 凭据文件的文件名。
var.credential_profile_name
AWS 凭据配置文件名称。
var.access_key_id
访问密钥的第一部分。
var.secret_access_key
访问密钥的第二部分。
var.session_token
使用临时安全凭据时为必需。
var.role_arn
要承担的 AWS IAM 角色。

配置行为

编辑

请注意，如果未设置 var.queue_url 和 var.bucket_arn，则不会因配置验证错误而导致 Filebeat 启动失败，只会停止特定的文件集输入并打印警告

2021-08-26T14:33:03.661-0600 WARN [aws-s3] awss3/config.go:54 neither queue_url nor bucket_arn were provided, input aws-s3 will stop
2021-08-26T14:33:10.668-0600 INFO [input.aws-s3] compat/compat.go:111 Input aws-s3 starting {"id": "29F3565F5B2A7070"}
2021-08-26T14:33:10.668-0600 INFO [input.aws-s3] compat/compat.go:124 Input 'aws-s3' stopped {"id": "29F3565F5B2A7070"}

需要此行为，以便减少现有 Filebeat 设置的破坏，其中并非定义了所有 AWS 模块的文件集，并且将在下一个主要版本中更改。

在未使用的文件集中设置 enabled: false 将会消除警告，这是建议的设置。例如（假设 cloudtrail 为未使用的文件集）

- module: aws
  cloudtrail:
    enabled: false

cloudtrail 文件集

编辑

CloudTrail 监控账户的事件。如果用户创建跟踪，则会将这些事件作为日志文件传送到特定的 Amazon S3 存储桶。cloudtrail 文件集不会读取在启用日志文件完整性时传送到 S3 存储桶的 CloudTrail 摘要文件，它只会读取 CloudTrail 日志。

filebeat aws cloudtrail

cloudwatch 文件集

编辑

用户可以使用 Amazon CloudWatch Logs 监控、存储和访问来自不同来源的日志文件。将日志从日志组导出到已设置 SQS 通知的 Amazon S3 存储桶。此文件集会将这些日志解析为 timestamp 和 message 字段。

ec2 文件集

编辑

此文件集专门用于存储在 AWS CloudWatch 中的 EC2 日志。将日志从日志组导出到已设置 SQS 通知的 Amazon S3 存储桶。使用此文件集，EC2 日志将被解析为诸如 ip 和 program_name 之类的字段。对于来自其他服务的日志，请使用 cloudwatch 文件集。

elb 文件集

编辑

弹性负载均衡提供访问日志，其中捕获有关发送到负载均衡器的请求的详细信息。每个日志都包含诸如收到请求的时间、客户端的 IP 地址、延迟、请求路径和服务器响应等信息。用户可以使用这些访问日志来分析流量模式并排除问题。

请按照为经典负载均衡器启用访问日志，将经典 ELB 访问日志发送到 S3 存储桶。对于应用程序负载均衡器，请按照为应用程序负载均衡器启用访问日志。对于网络负载均衡器，请按照为网络负载均衡器启用访问日志。

此文件集带有预定义的仪表板

filebeat aws elb overview

s3access 文件集

编辑

服务器访问日志记录提供对存储桶发出的请求的详细记录。服务器访问日志对许多应用程序都很有用。例如，访问日志信息在安全和访问审计中非常有用。它还可以帮助您了解客户群并了解 Amazon S3 账单。

请按照如何启用服务器访问日志，将服务器访问日志发送到 S3 存储桶。

此文件集带有预定义的仪表板

filebeat aws s3access overview

vpcflow 文件集

编辑

VPC 流日志是 AWS 中的一项功能，使用户能够捕获有关进出 VPC 中网络接口的 IP 流量的信息。需要将流日志数据发布到 Amazon S3，以便 vpcflow 文件集检索。流日志可以帮助用户监控到达每个实例的流量，并确定进出网络接口的流量方向。

此文件集带有预定义的仪表板

filebeat aws vpcflow overview

AWS 凭据配置

编辑

要配置 AWS 凭据，请将凭据放入 Filebeat 配置中，或使用共享凭据文件，如下例所示。

配置参数

编辑
  • access_key_id: 访问密钥的第一部分。
  • secret_access_key: 访问密钥的第二部分。
  • session_token: 使用临时安全凭据时为必需。
  • credential_profile_name: 共享凭据文件中的配置文件名称。
  • shared_credential_file: 共享凭据文件的目录。
  • role_arn: 要承担的 AWS IAM 角色。
  • external_id: 在另一个账户中承担角色时要使用的外部 ID，请参阅AWS 文档，了解如何使用外部 ID。
  • proxy_url: 用于连接 AWS Web 服务的代理的 URL。语法为 http(s)://<IP/Hostname>:<port>
  • fips_enabled: 启用此选项会指示 Filebeat 使用服务的 FIPS 端点。Filebeat 使用的所有服务都与 FIPS 兼容，除了 tagging，但只有某些区域与 FIPS 兼容。有关 FIPS 端点和区域的完整列表，请参阅 https://aws.amazon.com/compliance/fips/ 或相应的服务页面 https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html。
  • ssl: 此选项用于指定 SSL/TLS 配置。如果缺少 ssl 部分，则 HTTPS 连接将使用主机的 CA。有关更多信息，请参阅 SSL。
  • default_region: 如果未设置其他区域，则查询的默认区域。大多数 AWS 服务都提供可用于发出请求的区域端点。某些服务（例如 IAM）不支持区域。如果未通过任何其他方式（环境变量、凭证或实例配置文件）提供区域，则将使用此处设置的值。
  • assume_role.duration: 请求的承担角色会话的持续时间。默认为 15 分钟（如果未设置）。AWS 允许的最大会话持续时间在 1 小时到 12 小时之间，具体取决于您的最大会话持续时间策略。
  • assume_role.expiry_window: expiry_window 允许在会话过期之前刷新会话。这有助于防止过期的令牌导致请求因 ExpiredTokenException 而失败。

支持的格式

编辑

本节中的示例指的是 Metricbeat，但使用 AWS 进行身份验证的凭证选项对于使用的任何 Beat 都是相同的。

  • 使用 access_key_id、secret_access_key 和/或 session_token

用户可以将凭证放入 Metricbeat 模块配置中，也可以改用环境变量 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY 和/或 AWS_SESSION_TOKEN。

如果在 Docker 上运行，这些环境变量应作为 docker 命令的一部分添加。例如，对于 Metricbeat

$ docker run -e AWS_ACCESS_KEY_ID=abcd -e AWS_SECRET_ACCESS_KEY=abcd -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 如下所示

metricbeat.modules:
- module: aws
  period: 5m
  access_key_id: ${AWS_ACCESS_KEY_ID}
  secret_access_key: ${AWS_SECRET_ACCESS_KEY}
  session_token: ${AWS_SESSION_TOKEN}
  metricsets:
    - ec2

也可以通过文件添加环境变量。例如

$ cat env.list
AWS_ACCESS_KEY_ID=abcd
AWS_SECRET_ACCESS_KEY=abcd

$ docker run --env-file env.list -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234
  • 使用 credential_profile_name 和/或 shared_credential_file

如果未提供 access_key_id、secret_access_key 和 role_arn，则 filebeat 将检查 credential_profile_name。如果您为不同的工具或应用程序使用不同的凭证，则可以使用配置文件在同一配置文件中配置多个访问密钥。如果未提供 credential_profile_name，则将使用默认配置文件。

shared_credential_file 是可选的，用于指定共享凭证文件的目录。如果为空，则将使用默认目录。在 Windows 中，共享凭证文件位于 C:\Users\<你的用户名>\.aws\credentials。对于 Linux、macOS 或 Unix，该文件位于 ~/.aws/credentials。以服务形式运行时，主路径取决于管理该服务的用户，因此可以使用 shared_credential_file 参数来避免歧义。请参阅 创建共享凭证文件 获取更多详细信息。

  • 使用 role_arn

role_arn 用于指定要承担哪个 AWS IAM 角色以生成临时凭证。如果提供了 role_arn，filebeat 将检查是否提供了访问密钥。如果未提供，filebeat 将检查凭证配置文件名称。如果两者都未提供，则将使用默认凭证配置文件。请确保在凭证配置文件或访问密钥下提供凭证。

如果在 Docker 上运行，则需要通过卷挂载提供凭证文件。例如，对于 Metricbeat

docker run -d --name=metricbeat --user=root --volume="$(pwd)/metricbeat.aws.yml:/usr/share/metricbeat/metricbeat.yml:ro" --volume="/Users/foo/.aws/credentials:/usr/share/metricbeat/credentials:ro" docker.elastic.co/beats/metricbeat:7.11.1 metricbeat -e -E cloud.auth=elastic:1234 -E cloud.id=test-aws:1234

示例 metricbeat.aws.yml 如下所示

metricbeat.modules:
- module: aws
  period: 5m
  credential_profile_name: elastic-beats
  shared_credential_file: /usr/share/metricbeat/credentials
  metricsets:
    - ec2

  • 在 Filebeat 配置中使用 AWS 凭证

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  access_key_id: '<access_key_id>'
  secret_access_key: '<secret_access_key>'
  session_token: '<session_token>'

    或

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  access_key_id: '${AWS_ACCESS_KEY_ID:""}'
  secret_access_key: '${AWS_SECRET_ACCESS_KEY:""}'
  session_token: '${AWS_SESSION_TOKEN:""}'

  • 使用 IAM 角色 ARN

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  role_arn: arn:aws:iam::123456789012:role/test-mb

  • 使用共享的 AWS 凭证文件

    filebeat.inputs:
- type: aws-s3
  queue_url: https://sqs.us-east-1.amazonaws.com/123/test-queue
  credential_profile_name: test-fb

AWS 凭证类型

编辑

可以使用两种不同类型的 AWS 凭证：访问密钥和临时安全凭证。

  • 访问密钥

AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 是访问密钥的两个部分。它们是 IAM 用户或 AWS 账户根用户的长期凭证。请参阅 AWS 访问密钥和秘密访问密钥 获取更多详细信息。

  • IAM 角色 ARN

IAM 角色是您可以在账户中创建的 IAM 身份，它具有特定的权限，用于确定该身份在 AWS 中可以执行和不能执行的操作。角色不具有与之关联的标准长期凭证，例如密码或访问密钥。相反，当您承担角色时，它会为您提供角色会话的临时安全凭证。IAM 角色 Amazon Resource Name (ARN) 可用于指定要承担哪个 AWS IAM 角色以生成临时凭证。请参阅 AssumeRole API 文档 获取更多详细信息。

以下是使用 AWS CLI 为 Metricbeat 设置 IAM 角色的步骤。请将 123456789012 替换为您自己的账户 ID。

步骤 1. 创建 example-policy.json 文件以包含所有权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "sqs:ReceiveMessage"
            ],
            "Resource": "*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "sqs:ChangeMessageVisibility",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sqs:DeleteMessage",
            "Resource": "arn:aws:sqs:us-east-1:123456789012:test-fb-ks"
        },
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "sts:AssumeRole",
                "sqs:ListQueues",
                "tag:GetResources",
                "ec2:DescribeInstances",
                "cloudwatch:GetMetricData",
                "ec2:DescribeRegions",
                "iam:ListAccountAliases",
                "sts:GetCallerIdentity",
                "cloudwatch:ListMetrics"
            ],
            "Resource": "*"
        }
    ]
}

步骤 2. 使用 aws iam create-policy 命令创建 IAM 策略

$ aws iam create-policy --policy-name example-policy --policy-document file://example-policy.json

步骤 3. 创建 JSON 文件 example-role-trust-policy.json，该文件定义 IAM 角色的信任关系

{
    "Version": "2012-10-17",
    "Statement": {
        "Effect": "Allow",
        "Principal": { "AWS": "arn:aws:iam::123456789012:root" },
        "Action": "sts:AssumeRole"
    }
}

步骤 4. 创建 IAM 角色并附加策略

$ aws iam create-role --role-name example-role --assume-role-policy-document file://example-role-trust-policy.json
$ aws iam attach-role-policy --role-name example-role --policy-arn "arn:aws:iam::123456789012:policy/example-policy"

完成这些步骤后，IAM 角色 ARN 可用于 Metricbeat aws 模块中的身份验证。

  • 临时安全凭证

临时安全凭证的生命周期有限，由访问密钥 ID、秘密访问密钥和安全令牌组成，通常从 GetSessionToken 返回。启用 MFA 的 IAM 用户在调用 GetSessionToken 时需要提交 MFA 代码。请参阅 临时安全凭证 获取更多详细信息。 sts get-session-token AWS CLI 可用于生成临时凭证。例如，使用启用 MFA

aws> sts get-session-token --serial-number arn:aws:iam::1234:mfa/[email protected] --token-code 456789 --duration-seconds 129600

由于临时安全凭证是短期的，因此在它们过期后，用户需要生成新的凭证并使用新的凭证修改 aws.yml 配置文件。除非为 Metricbeat 启用了 实时重新加载功能，否则用户需要在更新配置文件后手动重启 Metricbeat，才能继续收集 Cloudwatch 指标。如果在旧凭证过期之前未用新凭证更新配置文件，这将导致数据丢失。对于 Metricbeat，我们建议用户在配置文件中使用访问密钥，以启用 aws 模块，从而在无需生成新的临时凭证和频繁更新配置的情况下进行 AWS API 调用。

IAM 策略是一个实体，它定义了对 AWS 环境中对象的权限。需要将特定权限添加到 IAM 用户的策略中，以授权 Metricbeat 收集 AWS 监控指标。请参阅每个指标集下的文档以了解所需的权限。

字段

编辑

有关模块中每个字段的说明，请参阅导出的字段部分。

« Auditd 模块 AWS Fargate 模块 »