- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
Palo Alto Networks 模块
编辑Palo Alto Networks 模块
编辑这是一个用于 Palo Alto Networks PAN-OS 防火墙监控日志的模块,这些日志通过 Syslog 接收或从文件中读取。它目前支持流量和威胁类型的消息。
请阅读快速入门,了解如何配置和运行模块。
兼容性
编辑此模块已使用运行 PAN-OS 版本 7.1 到 9.0 的设备生成的日志进行测试,但预计与早期版本兼容性有限。
运行此模块需要 ingest-geoip Elasticsearch 插件。
配置模块
编辑您可以通过在 modules.d/panw.yml
文件中指定变量设置,或在命令行中覆盖设置,来进一步细化 panw
模块的行为。
您必须在模块中启用至少一个文件集。 文件集默认处于禁用状态。
该模块默认配置为通过端口 9001 上的 syslog 运行。但是,它也可以配置为从文件中读取日志。请参阅以下示例。
- module: panw panos: enabled: true var.paths: ["/var/log/pan-os.log"] var.input: "file"
变量设置
编辑每个文件集都有单独的变量设置,用于配置模块的行为。如果您不指定变量设置,则 panw
模块将使用默认值。
对于高级用例,您还可以覆盖输入设置。请参阅覆盖输入设置。
当您在命令行中指定设置时,请记住在设置前加上模块名称,例如,panw.panos.var.paths
而不是 panos.var.paths
。
panos
文件集设置
编辑配置示例
panos: var.syslog_host: 0.0.0.0 var.syslog_port: 514
-
var.paths
- 一个基于 glob 的路径数组,指定查找日志文件的位置。此处也支持 Go Glob 支持的所有模式。例如,您可以使用通配符从预定义的子目录级别中获取所有文件:
/path/to/log/*/*.log
。这将从/path/to/log
的子文件夹中获取所有.log
文件。它不会从/path/to/log
文件夹本身中获取日志文件。如果此设置留空,Filebeat 将根据您的操作系统选择日志路径。 -
var.syslog_host
- 监听基于 UDP 的 syslog 流量的接口。默认为
localhost
。设置为0.0.0.0
以绑定到所有可用接口。 -
var.syslog_port
- 用于监听 syslog 流量的 UDP 端口。默认为
9001
1024 以下的端口需要 Filebeat 以 root 身份运行。
时区支持
编辑此模块解析不包含时区信息的日志。对于这些日志,Filebeat 将读取本地时区,并在解析时使用它将时间戳转换为 UTC。用于解析的时区包含在事件的 event.timezone
字段中。
要禁用此转换,可以使用 drop_fields
处理器删除 event.timezone
字段。
如果日志源自时区与本地时区不同的系统或应用程序,可以使用 add_fields
处理器将 event.timezone
字段覆盖为原始时区。
有关在配置中指定处理器的信息,请参阅处理器。
ECS 字段映射
编辑这些是 PAN-OS 到 ECS 的字段映射,以及仍未在 ECS 中但在 panw.panos
前缀下添加的字段
表 9. 流量日志映射
PAN-OS 字段 | ECS 字段 | 非标准字段 |
---|---|---|
接收时间 |
event.created |
|
序列号 |
observer.serial_number |
|
类型 |
event.category |
|
子类型 |
event.action |
|
生成时间 |
|
|
源 IP |
client.ip source.ip |
|
目标 IP |
server.ip destination.ip |
|
NAT 源 IP |
panw.panos.source.nat.ip |
|
NAT 目标 IP |
panw.panos.destination.nat.ip |
|
规则名称 |
panw.panos.ruleset |
|
源用户 |
client.user.name source.user.name |
|
目标用户 |
server.user.name destination.user.name |
|
应用程序 |
network.application |
|
源区域 |
panw.panos.source.zone |
|
目标区域 |
panw.panos.destination.zone |
|
入口接口 |
panw.panos.source.interface |
|
出口接口 |
panw.panos.destination.interface |
|
会话 ID |
panw.panos.flow_id |
|
源端口 |
client.port source.port |
|
目标端口 |
destination.port server.port |
|
NAT 源端口 |
panw.panos.source.nat.port |
|
NAT 目标端口 |
panw.panos.destination.nat.port |
|
标志 |
labels |
|
协议 |
network.transport |
|
操作 |
event.outcome |
|
字节数 |
network.bytes |
|
已发送字节数 |
client.bytes source.bytes |
|
已接收字节数 |
server.bytes destination.bytes |
|
数据包数 |
network.packets |
|
开始时间 |
event.start |
|
经过时间 |
event.duration |
|
类别 |
panw.panos.url.category |
|
序列号 |
panw.panos.sequence_number |
|
已发送数据包数 |
server.packets destination.packets |
|
已接收数据包数 |
client.packets source.packets |
|
设备名称 |
observer.hostname |
表 10. 威胁日志映射
PAN-OS 字段 | ECS 字段 | 非标准字段 |
---|---|---|
接收时间 |
event.created |
|
序列号 |
observer.serial_number |
|
类型 |
event.category |
|
子类型 |
event.action |
|
生成时间 |
|
|
源 IP |
client.ip source.ip |
|
目标 IP |
server.ip destination.ip |
|
NAT 源 IP |
panw.panos.source.nat.ip |
|
NAT 目标 IP |
panw.panos.destination.nat.ip |
|
规则名称 |
panw.panos.ruleset |
|
源用户 |
client.user.name source.user.name |
|
目标用户 |
server.user.name destination.user.name |
|
应用程序 |
network.application |
|
源区域 |
panw.panos.source.zone |
|
目标区域 |
panw.panos.destination.zone |
|
入口接口 |
panw.panos.source.interface |
|
出口接口 |
panw.panos.destination.interface |
|
会话 ID |
panw.panos.flow_id |
|
源端口 |
client.port source.port |
|
目标端口 |
destination.port server.port |
|
NAT 源端口 |
panw.panos.source.nat.port |
|
NAT 目标端口 |
panw.panos.destination.nat.port |
|
标志 |
labels |
|
协议 |
network.transport |
|
操作 |
event.outcome |
|
其他 |
url.original |
panw.panos.threat.resource |
威胁 ID |
panw.panos.threat.id |
|
类别 |
panw.panos.url.category |
|
严重性 |
log.level |
|
方向 |
network.direction |
|
源位置 |
source.geo.name |
|
目标位置 |
destination.geo.name |
|
PCAP_id |
panw.panos.network.pcap_id |
|
Filedigest |
panw.panos.file.hash |
|
用户代理 |
user_agent.original |
|
文件类型 |
file.type |
|
X-Forwarded-For |
network.forwarded_ip |
|
引荐来源网址 |
http.request.referer |
|
发件人 |
source.user.email |
|
主题 |
panw.panos.subject |
|
收件人 |
destination.user.email |
|
设备名称 |
observer.hostname |
示例仪表板
编辑此模块附带两个示例仪表板


字段
编辑有关模块中每个字段的描述,请参阅导出的字段部分。