NetFlow 输入
编辑NetFlow 输入编辑
使用 netflow
输入通过 UDP 读取 NetFlow 和 IPFIX 导出的流和选项记录。
此输入支持 NetFlow 版本 1、5、6、7、8 和 9,以及 IPFIX。对于低于 9 的 NetFlow 版本,字段将自动映射到 NetFlow v9。
配置示例
filebeat.inputs: - type: netflow max_message_size: 10KiB host: "0.0.0.0:2055" protocols: [ v5, v9, ipfix ] expiration_timeout: 30m queue_size: 8192 custom_definitions: - path/to/fields.yml detect_sequence_reset: true
配置选项编辑
netflow
输入支持以下配置选项以及稍后描述的通用选项。
max_message_size
编辑
通过 UDP 接收的消息的最大大小。默认值为 10KiB
。
host
编辑
用于侦听事件流的主机和 UDP 端口。
read_buffer
编辑
UDP 套接字上读取缓冲区的大小。如果未指定,则使用操作系统的默认值。
timeout
编辑
套接字操作的读写超时。默认值为 5m
。
protocols
编辑
已启用协议的列表。有效值为 v1
、v5
、v6
、v7
、v8
、v9
和 ipfix
。
expiration_timeout
编辑
空闲会话或未使用模板过期前的时限。仅适用于 v9 和 IPFIX 协议。值为零表示禁用过期。
share_templates
编辑
此选项允许在会话中共享 v9 和 ipfix 模板,而无需引用模板的来源。
请注意,不建议将其设置为 true,因为它可能会在某些情况下导致应用错误的模板,但某些系统可能需要这样做。
queue_size
编辑
可以排队等待处理的最大数据包数量。在处理偶尔的流量突发时,请使用此设置来避免数据包丢失。
custom_definitions
编辑
字段定义 YAML 文件路径的列表。这些文件允许使用供应商扩展更新 NetFlow/IPFIX 字段,并覆盖现有字段。
预期的格式与 Logstash 的 NetFlow 编解码器 ipfix_definitions 和 netflow_definitions 使用的格式相同。Filebeat 将检测使用了哪种格式。
NetFlow 格式示例
id: - default length in bytes - :name id: - :uintN or :intN: or :ip4_addr or :ip6_addr or :mac_addr or :string - :name id: - :skip
其中 id
是数字字段 ID。
IPFIX 格式类似,但按私有企业编号 (PEN) 分组
pen1: id: - :uintN or :ip4_addr or :ip6_addr or :mac_addr or :string - :name id: - :skip pen2: id: - :octetarray - :name
请注意,字段在 NetFlow V9 和 IPFIX 之间共享。对 IPFIX PEN 零的更改等同于对 NetFlow 字段的更改。
覆盖标准字段的名称和/或类型可能会阻止 ECS 字段的映射无法正常工作。
detect_sequence_reset
编辑
控制 Filebeat 是否应监视 Netflow 数据包中的序列号以检测导出进程重置的标志。检测到此情况时,将删除给定导出器的记录模板。这将导致流丢失,直到导出器提供新的模板。如果设置为 false
,则 Filebeat 将忽略序列号,如果导出进程重置,这可能会导致某些无效流。此选项仅适用于 Netflow V9 和 IPFIX。默认值为 true
。
internal_networks
编辑
描述您认为是内部 IP 地址的 CIDR 范围列表。这用于确定 source.locality
、destination.locality
和 flow.locality
的值。这些值可以是 CIDR 值,也可以是由 network
条件支持的命名范围之一。默认值为 [private]
,它将 RFC 1918 (IPv4) 和 RFC 4193 (IPv6) 地址分类为内部地址。
通用选项编辑
所有输入都支持以下配置选项。
enabled
编辑
使用 enabled
选项启用和禁用输入。默认情况下,enabled 设置为 true。
tags
编辑
Filebeat 包含在每个已发布事件的 tags
字段中的标签列表。标签可以轻松地在 Kibana 中选择特定事件或在 Logstash 中应用条件过滤。这些标签将附加到常规配置中指定的标签列表中。
示例
filebeat.inputs: - type: netflow . . . tags: ["json"]
fields
编辑
您可以指定可选字段,以向输出添加其他信息。例如,您可以添加可用于过滤日志数据的字段。字段可以是标量值、数组、字典或它们的任何嵌套组合。默认情况下,您在此处指定的字段将在输出文档的 fields
子字典下分组。要将自定义字段存储为顶级字段,请将 fields_under_root
选项设置为 true。如果在常规配置中声明了重复字段,则其值将被此处声明的值覆盖。
filebeat.inputs: - type: netflow . . . fields: app_id: query_engine_12
fields_under_root
编辑
如果此选项设置为 true,则自定义 字段 将作为顶级字段存储在输出文档中,而不是分组在 fields
子字典下。如果自定义字段名称与 Filebeat 添加的其他字段名称冲突,则自定义字段将覆盖其他字段。
processors
编辑
要应用于输入数据的处理器列表。
有关在配置中指定处理器的详细信息,请参阅处理器。
pipeline
编辑
要为此输入生成的事件设置的摄取管道 ID。
管道 ID 也可以在 Elasticsearch 输出中配置,但此选项通常会生成更简单的配置文件。如果在输入和输出中都配置了管道,则使用输入中的选项。
keep_null
编辑
如果此选项设置为 true,则输出文档中将发布具有 null
值的字段。默认情况下,keep_null
设置为 false
。
index
编辑
如果存在,此格式字符串将覆盖此输入事件的索引(对于 elasticsearch 输出),或设置事件元数据的 raw_index
字段(对于其他输出)。此字符串只能引用代理名称和版本以及事件时间戳;要访问动态字段,请使用 output.elasticsearch.index
或处理器。
示例值:"%{[agent.name]}-myindex-%{+yyyy.MM.dd}"
可能会扩展为 "filebeat-myindex-2019.11.01"
。
publisher_pipeline.disable_host
编辑
默认情况下,所有事件都包含 host.name
。可以将此选项设置为 true
以禁用将此字段添加到所有事件中。默认值为 false
。
指标编辑
此输入在 HTTP 监控端点下公开指标。这些指标在 /inputs/
路径下公开。它们可用于观察输入的活动。
您必须为输入分配唯一的 id
才能公开指标。
指标 | 描述 |
---|---|
|
UDP 流的主机/端口。 |
|
UDP 套接字缓冲区长度的大小(以字节为单位)(gauge)。 |
|
已接收的数据包(事件)总数。 |
|
接收的总字节数。 |
|
系统接收队列(IPv4 和 IPv6)的聚合大小(仅限 Linux)(指标)。 |
|
系统丢包总数(IPv4 和 IPv6)(仅限 Linux)(指标)。 |
|
连续数据包之间的时间间隔直方图(以纳秒为单位)。 |
|
数据包处理时间直方图(以纳秒为单位)。 |
|
已丢弃事件的总数。 |
|
数据包解码错误总数。 |
|
接收到的流的总数。 |
|
当前活动 Netflow 会话的数量。 |
直方图指标汇总了过去 1024 个事件。