- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
Microsoft 模块
编辑Microsoft 模块
编辑这是一个用于从不同 Microsoft 产品提取数据的模块。目前支持以下文件集
-
defender_atp
文件集:支持 Microsoft Defender for Endpoint (Microsoft Defender ATP) -
m365_defender
文件集:支持 Microsoft 365 Defender (Microsoft 威胁防护)
当您运行该模块时,它会在后台执行一些任务
- 设置日志文件的默认路径(但不用担心,您可以覆盖默认值)
- 确保每个多行日志事件都作为单个事件发送
- 使用 Elasticsearch 摄取管道来解析和处理日志行,将数据塑造成适合在 Kibana 中可视化的结构
- 部署用于可视化日志数据的仪表板
阅读快速入门,了解如何配置和运行模块。
配置模块
编辑您可以通过在 modules.d/microsoft.yml
文件中指定变量设置或在命令行覆盖设置来进一步优化 microsoft
模块的行为。
您必须在模块中启用至少一个文件集。默认情况下,文件集处于禁用状态。
变量设置
编辑每个文件集都有单独的变量设置,用于配置模块的行为。如果您不指定变量设置,则 microsoft
模块将使用默认值。
对于高级用例,您还可以覆盖输入设置。请参阅覆盖输入设置。
当您在命令行指定设置时,请记住在设置前加上模块名称,例如,microsoft.defender_atp.var.paths
而不是 defender_atp.var.paths
。
m365_defender
文件集设置
编辑要配置 Filebeat 访问 Microsoft 365 Defender,您必须创建一个新的 Azure 应用程序注册,这将再次返回带有访问 Microsoft 365 Defender API 权限的 Oauth 令牌
有关创建应用程序的步骤,请参见以下链接
当给应用程序授予文档中描述的 API 权限 (Incident.Read.All) 时,它将仅授予读取 365 Defender 中的事件的权限,而不会授予 Azure 域中的任何其他权限。
创建应用程序后,它应包含 3 个您需要应用于模块配置的值。
这些值是
- 客户端 ID
- 客户端密钥
- 租户 ID
配置示例
- module: microsoft m365_defender: enabled: true var.oauth2.client.id: "123abc-879546asd-349587-ad64508" var.oauth2.client.secret: "980453~-Sg99gedf" var.oauth2.token_url: "https://login.microsoftonline.com/INSERT-TENANT-ID/oauth2/v2.0/token" var.oauth2.scopes: - "https://api.security.microsoft.com/.default"
-
var.oauth2.client.id
- 这是与在 Azure 上创建新应用程序相关的客户端 ID。
-
var.oauth2.client.secret
- 与客户端 ID 相关的密钥。
-
var.oauth2.token_url
- 指向 Microsoft 的 Oauth2 服务的预定义 URL。除了需要添加到完整 URL 的租户 ID 之外,URL 应始终相同。
-
var.oauth2.scopes
- 包含的范围列表,应使用 .default,除非指定了其他范围。
365 Defender ECS 字段
编辑这是映射到 ECS 的 365 Defender 字段的列表。
365 Defender 字段 | ECS 字段 | |
---|---|---|
lastUpdateTime |
@timestamp |
|
severity |
event.severity |
|
createdTime |
event.created |
|
alerts.category |
threat.technique.name |
|
alerts.description |
rule.description |
|
alerts.serviceSource |
event.provider |
|
alerts.alertId |
event.id |
|
alerts.firstActivity |
event.start |
|
alerts.lastActivity |
event.end |
|
alerts.title |
message |
|
entities.processId |
process.pid |
|
entities.processCommandLine |
process.command_line |
|
entities.processCreationTime |
process.start |
|
entities.parentProcessId |
process.parent.pid |
|
entities.parentProcessCreationTime |
process.parent.start |
|
entities.sha1 |
file.hash.sha1 |
|
entities.sha256 |
file.hash.sha256 |
|
entities.url |
url.full |
|
entities.filePath |
file.path |
|
entities.fileName |
file.name |
|
entities.userPrincipalName |
host.user.name |
|
entities.domainName |
host.user.domain |
|
entities.aadUserId |
host.user.id |
defender_atp
文件集设置
编辑要允许 filebeat 模块从 Microsoft Defender API 提取数据,您需要在您的 Azure 域上创建一个新的应用程序。
有关创建应用程序的步骤,请参见以下链接
当给应用程序授予文档中描述的 API 权限 (Windows Defender ATP Alert.Read.All) 时,它将仅授予读取 ATP 中的警报的权限,而不会授予 Azure 域中的任何其他权限。
创建应用程序后,它应包含 3 个您需要应用于模块配置的值。
这些值是
- 客户端 ID
- 客户端密钥
- 租户 ID
配置示例
- module: microsoft defender_atp: enabled: true var.oauth2.client.id: "123abc-879546asd-349587-ad64508" var.oauth2.client.secret: "980453~-Sg99gedf" var.oauth2.token_url: "https://login.microsoftonline.com/INSERT-TENANT-ID/oauth2/token"
-
var.oauth2.client.id
- 这是与在 Azure 上创建新应用程序相关的客户端 ID。
-
var.oauth2.client.secret
- 与客户端 ID 相关的密钥。
-
var.oauth2.token_url
- 指向 Microsoft 的 Oauth2 服务的预定义 URL。除了需要添加到完整 URL 的租户 ID 之外,URL 应始终相同。
Defender ATP ECS 字段
编辑这是映射到 ECS 的 Defender ATP 字段的列表。
Defender ATP 字段 | ECS 字段 | |
---|---|---|
alertCreationTime |
@timestamp |
|
aadTenantId |
cloud.account.id |
|
category |
threat.technique.name |
|
computerDnsName |
host.hostname |
|
description |
rule.description |
|
detectionSource |
observer.name |
|
evidence.fileName |
file.name |
|
evidence.filePath |
file.path |
|
evidence.processId |
process.pid |
|
evidence.processCommandLine |
process.command_line |
|
evidence.processCreationTime |
process.start |
|
evidence.parentProcessId |
process.parent.pid |
|
evidence.parentProcessCreationTime |
process.parent.start |
|
evidence.sha1 |
file.hash.sha1 |
|
evidence.sha256 |
file.hash.sha256 |
|
evidence.url |
url.full |
|
firstEventTime |
event.start |
|
id |
event.id |
|
lastEventTime |
event.end |
|
machineId |
cloud.instance.id |
|
relatedUser.userName |
host.user.name |
|
relatedUser.domainName |
host.user.domain |
|
title |
message |
|
severity |
event.severity |
仪表板
编辑此模块附带一个 Defender ATP 的示例仪表板。

查看 Defender ATP 事件和警报数据的最佳方式是在 SIEM 中。

对于警报,请转到“检测”→“外部警报”。

对于所有其他 Defender ATP 事件类型,请转到“主机”→“事件”。
字段
编辑有关模块中每个字段的说明,请参阅导出的字段部分。
On this page