- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
Office 365 模块
编辑Office 365 模块
编辑此功能处于测试阶段,可能会发生更改。其设计和代码不如正式 GA 功能成熟,按“原样”提供,不提供任何担保。测试功能不受正式 GA 功能的支持 SLA 约束。
这是一个用于接收通过 Office 365 API 端点之一接收的 Office 365 日志的模块。它目前支持来自 Office 365 和 Azure AD 活动日志(由 Office 365 管理活动 API 公开)的用户、管理员、系统和策略操作以及事件。
需要 ingest-geoip 和 ingest-user_agent Elasticsearch 插件才能运行此模块。
请阅读快速入门,了解如何配置和运行模块。
配置模块
编辑您可以通过在 modules.d/o365.yml
文件中指定变量设置,或在命令行中覆盖设置,来进一步优化 o365
模块的行为。
您必须在模块中启用至少一个文件集。文件集默认处于禁用状态。
变量设置
编辑每个文件集都有单独的变量设置,用于配置模块的行为。如果您未指定变量设置,则 o365
模块将使用默认值。
对于高级用例,您还可以覆盖输入设置。请参阅覆盖输入设置。
当您在命令行中指定设置时,请记住在设置前加上模块名称,例如,o365.audit.var.paths
而不是 audit.var.paths
。
audit
文件集设置
编辑audit
文件集使用 Office 365 管理活动 API 从 Office 365 和 Azure AD 活动日志检索审计消息。这些日志与安全和合规中心中的审计 日志 搜索下的日志相同。
设置
编辑要使用此文件集,您需要启用审计日志搜索,并在 Azure AD 中注册应用程序。
注册此应用程序后,请记下应用程序(客户端)ID和目录(租户)ID。然后在证书和密钥部分配置身份验证。
使用客户端密钥身份验证的 o365.yml
配置示例
audit: enabled: true var.application_id: "<My Azure AD Application ID>" var.tenants: - id: "<My Tenant ID>" name: "mytenant.onmicrosoft.com" var.client_secret: "<My client secret>"
基于证书的身份验证在监控多个租户时特别有用。配置示例
audit: enabled: true var.application_id: "<My Azure AD Application ID>" var.tenants: - id: "<Tenant A ID>" name: "tenantA.onmicrosoft.com" - id: "<Tenant B ID>" name: "tenantB.onmicrosoft.com" var.certificate: "/path/to/certificate.pem" var.key: "/path/to/private_key.pem" var.key_passphrase: "my_passphrase" # (optional) for encrypted keys
最后,您需要在API 权限部分添加权限并授予其管理员同意。单击添加权限,然后选择 Office 365 管理 API。所需的权限为
- User.Read
- ActivityFeed.Read
- ActivityFeed.ReadDlp
- ServiceHealth.Read

添加所需的权限后,单击授予管理员同意按钮。请注意,所需的权限生效可能需要一段时间,因此您在立即运行 Filebeat 时可能会观察到一些权限错误。
备用端点
编辑此模块支持用于本地部署的自定义端点以及备用端点(GCC High 端点、美国国防部、欧盟等)。为了将模块指向备用端点,您需要相应地调整 authentication_endpoint
和 resource
变量。例如
var.api: # default is https://login.microsoftonline.com/ authentication_endpoint: https://login.microsoftonline.us/ # default is https://manage.office.com resource: https://manage.office365.us
配置选项
编辑-
var.application_id
- Azure 应用程序的应用程序 ID(也称为客户端 ID)。
-
var.tenants
- 一个或多个租户 ID 和名称对的列表。将
id
字段设置为租户 ID(也称为目录 ID)。将名称设置为租户的主机名,即您组织的 Office 365 域。 -
var.client_secret
- 用于验证您的 Azure AD 应用程序的客户端密钥 (api_key)。此选项不能与
var.certificate
选项同时指定。 -
var.certificate
- 用于客户端身份验证的证书文件的路径。此选项不能与
var.client_secret
选项同时指定。 -
var.key
- 用于客户端身份验证的私钥文件的路径。
-
var.key_passphrase
- 用于解密存储在配置的
var.key
文件中的加密密钥的密码。仅当密钥被加密时才设置此选项。 -
var.content_type
-
要订阅的内容类型的列表。默认情况下,它会订阅所有已知的内容类型
- Audit.AzureActiveDirectory
- Audit.Exchange
- Audit.SharePoint
- Audit.General
- DLP.All
高级配置选项
编辑仅在出现问题时才建议使用以下配置选项。它们必须嵌套在单个 var.api
键下,如下所示
var.api: authentication_endpoint: https://login.microsoftonline.com/ resource: https://manage.office.com max_retention: 168h poll_interval: 3m max_requests_per_minute: 2000 max_query_size: 24h
-
var.api.authentication_endpoint
- 用于授权 Azure 应用的身份验证端点。默认为
https://login.microsoftonline.com/
,可以更改为访问备用端点。 -
var.api.resource
- 从中检索信息的 API 资源。默认为
https://manage.office.com
,可以更改为访问备用端点。 -
var.api.max_retention
- 支持的最大数据保留期。默认为
168h
。Filebeat 将在首次运行时提取租户的所有保留数据。默认值为 7 天,这与 Microsoft 在删除日志之前保留日志的标准期限匹配。仅当您的租户具有更长的保留期时才增加它。 -
var.api.poll_interval
- 在轮询 API 服务器以获取新事件之前等待的时间间隔。默认为
3m
。 -
var.api.max_requests_per_minute
- 每个租户每分钟执行的最大请求数。默认值为
2000
,因为这是每个租户的服务器端限制。 -
var.api.max_query_size
- API 在单个查询中允许的最大时间窗口。默认为
24h
,以匹配 Microsoft 记录的限制。
示例仪表板
编辑此模块附带一个示例仪表板

字段
编辑有关模块中每个字段的描述,请参阅导出字段部分。