- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
与 Logstash 的安全通信
编辑与 Logstash 的安全通信
编辑您可以使用 SSL 双向身份验证来保护 Filebeat 和 Logstash 之间的连接。这可确保 Filebeat 仅将加密数据发送到受信任的 Logstash 服务器,并且 Logstash 服务器仅接收来自受信任的 Filebeat 客户端的数据。
要使用 SSL 双向身份验证
-
创建一个证书颁发机构 (CA),并使用它来签署您计划用于 Filebeat 和 Logstash 的证书。创建正确的 SSL/TLS 基础设施不在本文档的范围之内。有许多在线资源描述如何创建证书。
如果您正在使用安全功能,可以使用 elasticsearch-certutil 工具来生成证书。
-
配置 Filebeat 以使用 SSL。在
filebeat.yml
配置文件中,在ssl
下指定以下设置-
certificate_authorities
:配置 Filebeat 以信任由指定 CA 签名的任何证书。如果certificate_authorities
为空或未设置,则使用主机系统的受信任证书颁发机构。 -
certificate
和key
:指定 Filebeat 用于向 Logstash 进行身份验证的证书和密钥。例如
output.logstash: hosts: ["logs.mycompany.com:5044"] ssl.certificate_authorities: ["/etc/ca.crt"] ssl.certificate: "/etc/client.crt" ssl.key: "/etc/client.key"
有关这些配置选项的更多信息,请参阅 SSL。
-
-
配置 Logstash 以使用 SSL。在 Logstash 配置文件中,为 Logstash 的 Beats 输入插件指定以下设置
-
ssl
:设置为 true 时,使 Logstash 能够使用 SSL/TLS。 -
ssl_certificate_authorities
:配置 Logstash 以信任由指定 CA 签名的任何证书。 -
ssl_certificate
和ssl_key
:指定 Logstash 用于向客户端进行身份验证的证书和密钥。 -
ssl_verify_mode
:指定 Logstash 服务器是否根据 CA 验证客户端证书。您需要指定peer
或force_peer
以使服务器请求证书并对其进行验证。如果您指定force_peer
,并且 Filebeat 未提供证书,则 Logstash 连接将关闭。如果您选择不使用 certutil,则您获得的证书如果存在扩展密钥使用扩展,则必须允许clientAuth
和serverAuth
。例如
input { beats { port => 5044 ssl => true ssl_certificate_authorities => ["/etc/ca.crt"] ssl_certificate => "/etc/server.crt" ssl_key => "/etc/server.key" ssl_verify_mode => "force_peer" } }
有关这些选项的更多信息,请参阅 Beats 输入插件的文档。
-
验证 Logstash 服务器的证书
编辑在运行 Filebeat 之前,您应该验证 Logstash 服务器的证书。您可以使用 curl
来验证证书,即使用于与 Logstash 通信的协议不是基于 HTTP 的。例如
curl -v --cacert ca.crt https://logs.mycompany.com:5044
如果测试成功,您将收到一个空响应错误
* Rebuilt URL to: https://logs.mycompany.com:5044/ * Trying 192.168.99.100... * Connected to logs.mycompany.com (192.168.99.100) port 5044 (#0) * TLS 1.2 connection using TLS_DHE_RSA_WITH_AES_256_CBC_SHA * Server certificate: logs.mycompany.com * Server certificate: mycompany.com > GET / HTTP/1.1 > Host: logs.mycompany.com:5044 > User-Agent: curl/7.43.0 > Accept: */* > * Empty reply from server * Connection #0 to host logs.mycompany.com left intact curl: (52) Empty reply from server
以下示例使用 IP 地址而不是主机名来验证证书
curl -v --cacert ca.crt https://192.168.99.100:5044
此测试的验证失败,因为证书对于指定的 IP 地址无效。它仅对证书的 Subject 字段中显示的主机名 logs.mycompany.com
有效。
* Rebuilt URL to: https://192.168.99.100:5044/ * Trying 192.168.99.100... * Connected to 192.168.99.100 (192.168.99.100) port 5044 (#0) * WARNING: using IP address, SNI is being disabled by the OS. * SSL: certificate verification failed (result: 5) * Closing connection 0 curl: (51) SSL: certificate verification failed (result: 5)
有关解决此问题的更多信息,请参阅 故障排除文档。
测试 Filebeat 到 Logstash 的连接
编辑如果您将 Filebeat 作为服务运行,请先停止该服务。然后通过在前台运行 Filebeat 来测试您的设置,以便您可以快速查看发生的任何错误
filebeat -c filebeat.yml -e -v
任何错误都将打印到控制台。有关解决常见错误的更多信息,请参阅 故障排除文档。
On this page