- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
配置通用设置
编辑配置通用设置
编辑您可以在 filebeat.yml
配置文件中指定设置,以控制 Filebeat 的通用行为。这包括:
全局 Filebeat 配置选项
编辑这些选项位于 filebeat
命名空间中。
registry.path
编辑注册表的根路径。如果使用相对路径,则将其视为相对于数据路径。有关详细信息,请参阅目录布局部分。默认值为 ${path.data}/registry
。
filebeat.registry.path: registry
仅当刷新新事件时才会更新注册表,而不是在预定义的时间段内更新。这意味着,如果存在某些状态 TTL 已过期,则仅当处理新事件时才会删除这些状态。
registry.file_permissions
编辑应用于注册表数据文件的权限掩码。默认值为 0600。权限选项必须是有效的 Unix 风格的文件权限掩码,以八进制表示。在 Go 中,八进制数必须以 0 开头。
允许的最大权限掩码为 0640。如果通过此设置指定了更高的权限掩码,则它将受 0027 的 umask 约束。
Windows 不支持此选项。
示例
- 0640:为文件所有者提供读取和写入访问权限,并为与文件关联的组成员提供读取访问权限。
- 0600:为文件所有者提供读取和写入访问权限,并且不为其他所有人提供任何访问权限。
filebeat.registry.file_permissions: 0600
registry.flush
编辑控制何时将注册表条目写入磁盘(刷新)的超时值。当未写入的更新超过此值时,将触发写入磁盘。当 registry.flush
设置为 0 秒时,将在每个事件批次成功发布后将注册表写入磁盘。默认值为 1 秒。
当 Filebeat 正常关闭时,注册表始终会更新。在异常关闭后,如果 registry.flush
值 >0 秒,则注册表将不是最新的。Filebeat 将再次发送已发布的事件(取决于上次更新的注册表文件中的值)。
过滤大量日志可能会导致许多注册表更新,从而减慢处理速度。将 registry.flush
设置为 >0 秒的值可减少写入操作,从而帮助 Filebeat 处理更多事件。
registry.migrate_file
编辑在 Filebeat 7.0 之前,注册表存储在单个文件中。当您升级到 7.0 时,Filebeat 会自动迁移旧的 Filebeat 6.x 注册表文件以使用新的目录格式。Filebeat 在 filebeat.registry.path
指定的位置查找文件。如果您在升级时更改了路径,请设置 filebeat.registry.migrate_file
以指向旧的注册表文件。
filebeat.registry.path: ${path.data}/registry filebeat.registry.migrate_file: /path/to/old/registry_file
仅当尚不存在使用目录格式的注册表时,才会将注册表迁移到新位置。
config_dir
编辑[6.0.0] 在 6.0.0 中已弃用。请改用 输入配置。
包含其他输入配置文件的目录的完整路径。每个配置文件必须以 .yml
结尾。每个配置文件还必须指定完整的 Filebeat 配置层次结构,即使只处理每个文件的 inputs
部分。所有全局选项,例如 registry_file
,都将被忽略。
config_dir
选项必须指向主 Filebeat 配置文件所在的目录以外的目录。
如果指定的路径不是绝对路径,则将其视为相对于配置路径。有关详细信息,请参阅目录布局部分。
filebeat.config_dir: path/to/configs
shutdown_timeout
编辑Filebeat 在关闭前等待发布者完成发送事件的时间。
默认情况下,此选项已禁用,Filebeat 在关闭前不会等待发布者完成发送事件。这意味着,发送到输出但未在 Filebeat 关闭前确认的任何事件,将在您重新启动 Filebeat 时再次发送。有关此工作方式的更多详细信息,请参阅Filebeat 如何确保至少一次传递?。
您可以配置 shutdown_timeout
选项,以指定 Filebeat 在关闭前等待发布者完成发送事件的最大时间量。如果在达到 shutdown_timeout
之前确认了所有事件,则 Filebeat 将关闭。
此选项没有建议的设置,因为确定 shutdown_timeout
的正确值在很大程度上取决于 Filebeat 运行的环境和输出的当前状态。
配置示例
filebeat.shutdown_timeout: 5s
通用配置选项
编辑所有 Elastic Beats 都支持这些选项。因为它们是通用选项,所以它们没有命名空间。
这是一个配置示例
name: "my-shipper" tags: ["service-X", "web-tier"]
name
编辑Beat 的名称。如果此选项为空,则使用服务器的 hostname
。该名称作为 agent.name
字段包含在每个已发布的事务中。您可以使用该名称将单个 Beat 发送的所有事务分组。
示例
name: "my-shipper"
tags
编辑Beat 在每个已发布事务的 tags
字段中包含的标签列表。使用标签可以轻松地按不同的逻辑属性对服务器进行分组。例如,如果您有一个 Web 服务器集群,您可以将“webservers”标签添加到每台服务器上的 Beat,然后在 Kibana Web 界面中使用筛选器和查询来获取整个服务器组的可视化效果。
示例
tags: ["my-service", "hardware", "test"]
fields
编辑您可以指定的可选字段,用于向输出添加其他信息。字段可以是标量值、数组、字典或它们的任何嵌套组合。默认情况下,您在此处指定的字段将分组在输出文档的 fields
子字典下。要将自定义字段存储为顶层字段,请将 fields_under_root
选项设置为 true。
示例
fields: {project: "myproject", instance-id: "574734885120952459"}
fields_under_root
编辑如果此选项设置为 true,则自定义字段将作为输出文档中的顶层字段存储,而不是分组在 fields
子字典下。如果自定义字段名称与其他字段名称冲突,则自定义字段将覆盖其他字段。
示例
fields_under_root: true fields: instance_id: i-10a64379 region: us-east-1
processors
编辑应用于 Beat 生成的数据的处理器列表。
有关在配置中指定处理器的信息,请参阅处理器。
max_procs
编辑设置可以同时执行的最大 CPU 数。默认值是系统中可用的逻辑 CPU 数。
timestamp.precision
编辑配置所有时间戳的精度。默认情况下,它设置为毫秒。可用选项:毫秒、微秒、纳秒
On this page