New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« 移动字段 限制事件流速率 »
Elastic 文档 ›Filebeat 参考 [8.17] ›配置 Filebeat ›使用处理器过滤和增强数据

解析 AWS VPC 流日志

编辑

解析 AWS VPC 流日志

编辑

parse_aws_vpc_flow_log 处理器解码 AWS VPC 流日志消息。

以下是一个示例配置，它使用默认的 V2 VPC 流日志格式解码 message 字段。

processors:
  - parse_aws_vpc_flow_log:
      format: version account-id interface-id srcaddr dstaddr srcport dstport protocol packets bytes start end action log-status
      field: message

parse_aws_vpc_flow_log 处理器具有以下配置设置。

表 4. 解析 AWS VPC 流日志选项

名称 必需 默认值 描述

field

否

message

包含 VPC 流日志消息的源字段。

target_field

否

aws.vpcflow

VPC 流日志对象的目标字段。这仅适用于原始 VPC 流日志字段。ECS 字段写入标准位置。

format

是

VPC 流日志格式。这支持版本 2 到 5 的 VPC 流日志字段。它将接受字符串或字符串列表。每个格式必须具有唯一数量的字段，以便将其与流日志消息匹配。

mode

否

ecs

模式控制生成哪些字段。可用选项为 original、ecs 和 ecs_and_original。original 生成在格式字符串中指定的字段。ecs 将原始字段映射到 ECS 并删除映射到 ECS 的原始字段。ecs_and_original 将原始字段映射到 ECS 并保留所有原始字段。

ignore_missing

否

false

忽略缺失的源字段。

ignore_failure

否

false

忽略解析和转换流日志消息时发生的失败。

id

否

用于调试的实例 ID。

模式

编辑

原始

编辑

此模式返回在 format 字符串中找到的相同字段。它将删除任何值为破折号（-）的字段。它将字符串转换为适当的数据类型。这些是已知的字段名称及其数据类型。

AWS VPC 流字段名称在 Filebeat 中使用下划线而不是破折号。您可以使用包含任一字段名称的 format 进行配置。

VPC 流日志字段 数据类型

account_id

字符串

action

字符串

az_id

字符串

bytes

长整型

dstaddr

ip

dstport

整数

end

时间戳

flow_direction

字符串

instance_id

字符串

interface_id

字符串

log_status

字符串

packets

长整型

pkt_dst_aws_service

字符串

pkt_dstaddr

ip

pkt_src_aws_service

字符串

pkt_srcaddr

ip

protocol

整数

region

字符串

srcaddr

ip

srcport

整数

start

时间戳

sublocation_id

字符串

sublocation_type

字符串

subnet_id

字符串

tcp_flags

整数

tcp_flags_array*

整数

traffic_path

整数

type

字符串

version

整数

vpc_id

字符串

ECS

编辑

此模式将原始 VPC 流日志字段映射到其关联的 Elastic Common Schema (ECS) 字段。它会删除映射到 ECS 的原始字段，以减少重复。这些是字段关联。可能会应用一些转换来派生 ECS 字段。

VPC 流日志字段 ECS 字段

account_id

cloud.account.id

action

event.outcome

action

event.action

action

event.type

az_id

cloud.availability_zone

bytes

network.bytes

bytes

source.bytes

dstaddr

destination.address

dstaddr

destination.ip

dstport

destination.port

end

@timestamp

end

event.end

flow_direction

network.direction

instance_id

cloud.instance.id

packets

network.packets

packets

source.packets

protocol

network.iana_number

protocol

network.transport

region

cloud.region

srcaddr

network.type

srcaddr

source.address

srcaddr

source.ip

srcport

source.port

start

event.start

ECS 和原始

编辑

此模式将字段映射到 ECS 并保留所有原始字段。以下是使用 ecs_and_orignal 模式生成的文档示例。

{
  "@timestamp": "2021-03-26T03:29:09Z",
  "aws": {
    "vpcflow": {
      "account_id": "64111117617",
      "action": "REJECT",
      "az_id": "use1-az5",
      "bytes": 1,
      "dstaddr": "10.200.0.0",
      "dstport": 33004,
      "end": "2021-03-26T03:29:09Z",
      "flow_direction": "ingress",
      "instance_id": "i-0axxxxxx1ad77",
      "interface_id": "eni-069xxxxxb7a490",
      "log_status": "OK",
      "packets": 52,
      "pkt_dst_aws_service": "CLOUDFRONT",
      "pkt_dstaddr": "10.200.0.80",
      "pkt_src_aws_service": "AMAZON",
      "pkt_srcaddr": "89.160.20.156",
      "protocol": 17,
      "region": "us-east-1",
      "srcaddr": "89.160.20.156",
      "srcport": 50041,
      "start": "2021-03-26T03:28:12Z",
      "sublocation_id": "fake-id",
      "sublocation_type": "wavelength",
      "subnet_id": "subnet-02d645xxxxxxxdbc0",
      "tcp_flags": 1,
      "tcp_flags_array": [
        "fin"
      ],
      "traffic_path": 1,
      "type": "IPv4",
      "version": 5,
      "vpc_id": "vpc-09676f97xxxxxb8a7"
    }
  },
  "cloud": {
    "account": {
      "id": "64111117617"
    },
    "availability_zone": "use1-az5",
    "instance": {
      "id": "i-0axxxxxx1ad77"
    },
    "region": "us-east-1"
  },
  "destination": {
    "address": "10.200.0.0",
    "ip": "10.200.0.0",
    "port": 33004
  },
  "event": {
    "action": "reject",
    "end": "2021-03-26T03:29:09Z",
    "outcome": "failure",
    "start": "2021-03-26T03:28:12Z",
    "type": [
      "connection",
      "denied"
    ]
  },
  "message": "5 64111117617 eni-069xxxxxb7a490 89.160.20.156 10.200.0.0 50041 33004 17 52 1 1616729292 1616729349 REJECT OK vpc-09676f97xxxxxb8a7 subnet-02d645xxxxxxxdbc0 i-0axxxxxx1ad77 1 IPv4 89.160.20.156 10.200.0.80 us-east-1 use1-az5 wavelength fake-id AMAZON CLOUDFRONT ingress 1",
  "network": {
    "bytes": 1,
    "direction": "ingress",
    "iana_number": "17",
    "packets": 52,
    "transport": "udp",
    "type": "ipv4"
  },
  "related": {
    "ip": [
      "89.160.20.156",
      "10.200.0.0",
      "10.200.0.80"
    ]
  },
  "source": {
    "address": "89.160.20.156",
    "bytes": 1,
    "ip": "89.160.20.156",
    "packets": 52,
    "port": 50041
  }
}
« 移动字段 限制事件流速率 »

On this page

Was this helpful?
Feedback