NetFlow 输入编辑

使用 netflow 输入通过 UDP 读取 NetFlow 和 IPFIX 导出的流和选项记录。

此输入支持 NetFlow 版本 1、5、6、7、8 和 9,以及 IPFIX。对于低于 9 的 NetFlow 版本,字段将自动映射到 NetFlow v9。

配置示例

filebeat.inputs:
- type: netflow
  max_message_size: 10KiB
  host: "0.0.0.0:2055"
  protocols: [ v5, v9, ipfix ]
  expiration_timeout: 30m
  queue_size: 8192
  custom_definitions:
  - path/to/fields.yml
  detect_sequence_reset: true

配置选项编辑

netflow 输入支持以下配置选项以及稍后描述的通用选项

max_message_size编辑

通过 UDP 接收的消息的最大大小。默认值为 10KiB

host编辑

用于侦听事件流的主机和 UDP 端口。

read_buffer编辑

UDP 套接字上读取缓冲区的大小。如果未指定,则使用操作系统的默认值。

timeout编辑

套接字操作的读写超时。默认值为 5m

protocols编辑

已启用协议的列表。有效值为 v1v5v6v7v8v9ipfix

expiration_timeout编辑

空闲会话或未使用模板过期前的时限。仅适用于 v9 和 IPFIX 协议。值为零表示禁用过期。

share_templates编辑

此选项允许在会话中共享 v9 和 ipfix 模板,而无需引用模板的来源。

请注意,不建议将其设置为 true,因为它可能会在某些情况下导致应用错误的模板,但某些系统可能需要这样做。

queue_size编辑

可以排队等待处理的最大数据包数量。在处理偶尔的流量突发时,请使用此设置来避免数据包丢失。

custom_definitions编辑

字段定义 YAML 文件路径的列表。这些文件允许使用供应商扩展更新 NetFlow/IPFIX 字段,并覆盖现有字段。

预期的格式与 Logstash 的 NetFlow 编解码器 ipfix_definitionsnetflow_definitions 使用的格式相同。Filebeat 将检测使用了哪种格式。

NetFlow 格式示例

id:
- default length in bytes
- :name
id:
- :uintN or :intN: or :ip4_addr or :ip6_addr or :mac_addr or :string
- :name
id:
- :skip

其中 id 是数字字段 ID。

IPFIX 格式类似,但按私有企业编号 (PEN) 分组

pen1:
  id:
  - :uintN or :ip4_addr or :ip6_addr or :mac_addr or :string
  - :name
  id:
  - :skip
pen2:
  id:
  - :octetarray
  - :name

请注意,字段在 NetFlow V9 和 IPFIX 之间共享。对 IPFIX PEN 零的更改等同于对 NetFlow 字段的更改。

覆盖标准字段的名称和/或类型可能会阻止 ECS 字段的映射无法正常工作。

detect_sequence_reset编辑

控制 Filebeat 是否应监视 Netflow 数据包中的序列号以检测导出进程重置的标志。检测到此情况时,将删除给定导出器的记录模板。这将导致流丢失,直到导出器提供新的模板。如果设置为 false,则 Filebeat 将忽略序列号,如果导出进程重置,这可能会导致某些无效流。此选项仅适用于 Netflow V9 和 IPFIX。默认值为 true

internal_networks编辑

描述您认为是内部 IP 地址的 CIDR 范围列表。这用于确定 source.localitydestination.localityflow.locality 的值。这些值可以是 CIDR 值,也可以是由 network 条件支持的命名范围之一。默认值为 [private],它将 RFC 1918 (IPv4) 和 RFC 4193 (IPv6) 地址分类为内部地址。

通用选项编辑

所有输入都支持以下配置选项。

enabled编辑

使用 enabled 选项启用和禁用输入。默认情况下,enabled 设置为 true。

tags编辑

Filebeat 包含在每个已发布事件的 tags 字段中的标签列表。标签可以轻松地在 Kibana 中选择特定事件或在 Logstash 中应用条件过滤。这些标签将附加到常规配置中指定的标签列表中。

示例

filebeat.inputs:
- type: netflow
  . . .
  tags: ["json"]
fields编辑

您可以指定可选字段,以向输出添加其他信息。例如,您可以添加可用于过滤日志数据的字段。字段可以是标量值、数组、字典或它们的任何嵌套组合。默认情况下,您在此处指定的字段将在输出文档的 fields 子字典下分组。要将自定义字段存储为顶级字段,请将 fields_under_root 选项设置为 true。如果在常规配置中声明了重复字段,则其值将被此处声明的值覆盖。

filebeat.inputs:
- type: netflow
  . . .
  fields:
    app_id: query_engine_12
fields_under_root编辑

如果此选项设置为 true,则自定义 字段 将作为顶级字段存储在输出文档中,而不是分组在 fields 子字典下。如果自定义字段名称与 Filebeat 添加的其他字段名称冲突,则自定义字段将覆盖其他字段。

processors编辑

要应用于输入数据的处理器列表。

有关在配置中指定处理器的详细信息,请参阅处理器

pipeline编辑

要为此输入生成的事件设置的摄取管道 ID。

管道 ID 也可以在 Elasticsearch 输出中配置,但此选项通常会生成更简单的配置文件。如果在输入和输出中都配置了管道,则使用输入中的选项。

keep_null编辑

如果此选项设置为 true,则输出文档中将发布具有 null 值的字段。默认情况下,keep_null 设置为 false

index编辑

如果存在,此格式字符串将覆盖此输入事件的索引(对于 elasticsearch 输出),或设置事件元数据的 raw_index 字段(对于其他输出)。此字符串只能引用代理名称和版本以及事件时间戳;要访问动态字段,请使用 output.elasticsearch.index 或处理器。

示例值:"%{[agent.name]}-myindex-%{+yyyy.MM.dd}" 可能会扩展为 "filebeat-myindex-2019.11.01"

publisher_pipeline.disable_host编辑

默认情况下,所有事件都包含 host.name。可以将此选项设置为 true 以禁用将此字段添加到所有事件中。默认值为 false

指标编辑

此输入在 HTTP 监控端点下公开指标。这些指标在 /inputs/ 路径下公开。它们可用于观察输入的活动。

您必须为输入分配唯一的 id 才能公开指标。

指标 描述

设备

UDP 流的主机/端口。

udp_read_buffer_length_gauge

UDP 套接字缓冲区长度的大小(以字节为单位)(gauge)。

received_events_total

已接收的数据包(事件)总数。

received_bytes_total

接收的总字节数。

receive_queue_length

系统接收队列(IPv4 和 IPv6)的聚合大小(仅限 Linux)(指标)。

system_packet_drops

系统丢包总数(IPv4 和 IPv6)(仅限 Linux)(指标)。

arrival_period

连续数据包之间的时间间隔直方图(以纳秒为单位)。

processing_time

数据包处理时间直方图(以纳秒为单位)。

discarded_events_total

已丢弃事件的总数。

decode_errors_total

数据包解码错误总数。

flows_total

接收到的流的总数。

open_connections

当前活动 Netflow 会话的数量。

直方图指标汇总了过去 1024 个事件。