- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
CEF 模块
编辑CEF 模块
编辑这是一个通过 Syslog 接收通用事件格式 (CEF) 数据的模块。当通过 syslog 协议接收消息时,syslog 输入将解析头部并设置时间戳值。然后,应用 decode_cef
处理器来解析 CEF 编码的数据。解码后的数据被写入 cef
对象字段。最后,任何可以使用 CEF 数据填充的 Elastic Common Schema (ECS) 字段都会被填充。
请阅读快速入门,了解如何配置和运行模块。
配置模块
编辑您可以通过在 modules.d/cef.yml
文件中指定 变量设置,或在命令行中覆盖设置来进一步细化 cef
模块的行为。
您必须在模块中启用至少一个文件集。文件集默认处于禁用状态。
变量设置
编辑每个文件集都有单独的变量设置,用于配置模块的行为。如果您不指定变量设置,cef
模块将使用默认值。
对于高级用例,您还可以覆盖输入设置。请参阅覆盖输入设置。
在命令行中指定设置时,请记住在设置前加上模块名称,例如,cef.log.var.paths
而不是 log.var.paths
。
log
文件集设置
编辑-
var.syslog_host
- 用于监听基于 UDP 的 syslog 流量的接口。默认为
localhost
。设置为0.0.0.0
以绑定到所有可用的接口。 -
var.syslog_port
- 用于监听 syslog 流量的 UDP 端口。默认为
9003
1024 以下的端口需要 Filebeat 以 root 身份运行。
-
var.tags
- 要包含在事件中的标签列表。包括
forwarded
表示事件并非源自此主机,并导致host.name
不会被添加到事件中。默认为[cef, forwarded]
。 -
var.timezone
- 当从不包含时区的 CEF 消息中解析时间时,要使用的 IANA 时区名称(例如,
America/New_York
)或固定时间偏移量(例如,+0200
)。可以指定Local
以使用机器的本地时区。默认为UTC
。
Forcepoint NGFW 安全管理中心
编辑此模块将处理来自 Forcepoint NGFW 安全管理中心 (SMC) 的 CEF 数据。在 SMC 中,将日志配置为以 CEF 格式通过 UDP 服务转发到 var.syslog_host
中设置的地址,并在 var.syslog_port
上运行。有关配置 SMC 的说明,请参阅 KB 15002。测试是使用来自 SMC 6.6.1 版本的 CEF 日志进行的,自定义字符串映射取自 2011 年 12 月 5 日的 *CEF 连接器配置指南*。
Check Point 设备
编辑此模块将按照 日志导出器 CEF 字段映射中的说明解析来自 Check Point 设备的 CEF 数据。
Check Point CEF 扩展的映射如下所示
CEF 扩展 | CEF 标签值 | ECS 字段 | 非 ECS 字段 | |
---|---|---|---|---|
cp_app_risk |
- |
event.risk_score |
checkpoint.app_risk |
|
cp_severity |
- |
event.severity |
checkpoint.severity |
|
baseEventCount |
- |
- |
checkpoint.event_count |
|
deviceExternalId |
- |
observer.type |
- |
|
deviceFacility |
- |
observer.type |
- |
|
deviceInboundInterface |
- |
observer.ingress.interface.name |
- |
|
deviceOutboundInterface |
- |
observer.egress.interface.name |
- |
|
externalId |
- |
- |
checkpoint.uuid |
|
fileHash |
- |
file.hash.{md5,sha1} |
- |
|
reason |
- |
- |
checkpoint.termination_reason |
|
requestCookies |
- |
- |
checkpoint.cookie |
|
sourceNtDomain |
- |
dns.question.name |
- |
|
Signature |
- |
vulnerability.id |
- |
|
Recipient |
- |
destination.user.email |
- |
|
Sender |
- |
source.user.email |
- |
|
deviceCustomFloatingPoint1 |
更新版本 |
observer.version |
- |
|
deviceCustomIPv6Address2 |
源 IPv6 地址 |
source.ip |
- |
|
deviceCustomIPv6Address3 |
目标 IPv6 地址 |
destination.ip |
- |
|
deviceCustomNumber1 |
以秒为单位的经过时间 |
event.duration |
- |
|
电子邮件收件人数量 |
- |
checkpoint.email_recipients_num |
||
payload |
network.bytes |
- |
||
deviceCustomNumber2 |
icmp 类型 |
- |
checkpoint.icmp_type |
|
以秒为单位的持续时间 |
event.duration |
- |
||
deviceCustomNumber3 |
icmp 代码 |
- |
checkpoint.icmp_code |
|
deviceCustomString1 |
连接状态 |
- |
checkpoint.connectivity_state |
|
应用程序规则名称 |
rule.name |
- |
||
威胁防御规则名称 |
rule.name |
- |
||
voip 日志类型 |
- |
checkpoint.voip_log_type |
||
dlp 规则名称 |
rule.name |
- |
||
电子邮件 ID |
- |
checkpoint.email_id |
||
deviceCustomString2 |
类别 |
- |
checkpoint.category |
|
电子邮件主题 |
- |
checkpoint.email_subject |
||
传感器模式 |
- |
checkpoint.sensor_mode |
||
保护 ID |
- |
checkpoint.protection_id |
||
扫描调用类型 |
- |
checkpoint.integrity_av_invoke_type |
||
更新状态 |
- |
checkpoint.update_status |
||
对等网关 |
- |
checkpoint.peer_gateway |
||
类别 |
rule.category |
- |
||
deviceCustomString6 |
应用程序名称 |
network.application |
- |
|
病毒名称 |
- |
checkpoint.virus_name |
||
恶意软件名称 |
- |
checkpoint.spyware_name |
||
恶意软件家族 |
- |
checkpoint.malware_family |
||
deviceCustomString3 |
用户组 |
group.name |
- |
|
事件扩展 |
- |
checkpoint.incident_extension |
||
保护类型 |
- |
checkpoint.protection_type |
||
电子邮件临时 ID |
- |
checkpoint.email_spool_id |
||
标识类型 |
- |
checkpoint.identity_type |
||
deviceCustomString4 |
恶意软件状态 |
- |
checkpoint.spyware_status |
|
威胁防御规则 ID |
rule.id |
- |
||
扫描结果 |
- |
checkpoint.scan_result |
||
tcp 标志 |
- |
checkpoint.tcp_flags |
||
目标操作系统 |
os.name |
- |
||
保护名称 |
- |
checkpoint.protection_name |
||
电子邮件控制 |
- |
checkpoint.email_control |
||
频率 |
- |
checkpoint.frequency |
||
用户响应 |
- |
checkpoint.user_status |
||
deviceCustomString5 |
匹配的类别 |
rule.category |
- |
|
vlan id |
network.vlan.id |
- |
||
身份验证方法 |
- |
checkpoint.auth_method |
||
电子邮件会话 ID |
- |
checkpoint.email_session_id |
||
deviceCustomDate2 |
订阅过期 |
- |
checkpoint.subs_exp |
|
deviceFlexNumber1 |
置信度 |
- |
checkpoint.confidence_level |
|
deviceFlexNumber2 |
性能影响 |
- |
checkpoint.performance_impact |
|
目标电话号码 |
- |
checkpoint.dst_phone_number |
||
flexString1 |
应用程序签名 ID |
- |
checkpoint.app_sig_id |
|
flexString2 |
恶意软件操作 |
rule.description |
- |
|
攻击信息 |
event.action |
- |
||
rule_uid |
- |
rule.uuid |
- |
|
ifname |
- |
observer.ingress.interface.name |
- |
|
inzone |
- |
observer.ingress.zone |
- |
|
outzone |
- |
observer.egress.zone |
- |
|
product |
- |
observer.product |
- |
字段
编辑有关模块中每个字段的说明,请参阅导出的字段部分。