- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门:安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败,并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
在 Docker 上运行 Filebeat
编辑在 Docker 上运行 Filebeat
编辑Filebeat 的 Docker 镜像可从 Elastic Docker 注册表获取。基础镜像是 centos:7。
所有已发布的 Docker 镜像和标签的列表可在 www.docker.elastic.co 上找到。
这些镜像在 Elastic 许可下可免费使用。它们包含开源和免费的商业功能以及对付费商业功能的访问。 开始 30 天试用以试用所有付费商业功能。有关 Elastic 许可级别的信息,请参阅 订阅页面。
拉取镜像
编辑获取 Filebeat 的 Docker 镜像就像向 Elastic Docker 注册表发出 docker pull
命令一样简单。
docker pull docker.elastic.co/beats/filebeat:8.17.0
或者,您可以下载其他仅包含 Apache 2.0 许可下可用功能的 Docker 镜像。要下载镜像,请访问 www.docker.elastic.co。
可选:验证镜像
编辑您可以使用 Cosign 应用程序来验证 Filebeat Docker 镜像签名。
wget https://artifacts.elastic.co/cosign.pub cosign verify --key cosign.pub docker.elastic.co/beats/filebeat:8.17.0
cosign
命令以 JSON 格式打印检查结果和签名负载
Verification for docker.elastic.co/beats/filebeat:8.17.0 -- The following checks were performed on each of these signatures: - The cosign claims were validated - Existence of the claims in the transparency log was verified offline - The signatures were verified against the specified public key
运行 Filebeat 设置
编辑使用 setup 命令运行 Filebeat 将创建索引模式并加载可视化效果、仪表板和机器学习作业。运行此命令
docker run --rm \ docker.elastic.co/beats/filebeat:8.17.0 \ setup -E setup.kibana.host=kibana:5601 \ -E output.elasticsearch.hosts=["elasticsearch:9200"]
替换您的 Kibana 和 Elasticsearch 主机和端口。 |
|
如果您在 Elastic Cloud 中使用托管的 Elasticsearch 服务,请使用以下语法将 |
-E cloud.id=<Cloud ID from Elasticsearch Service> \ -E cloud.auth=elastic:<elastic password>
在只读文件系统上运行 Filebeat
编辑如果您想在只读文件系统的 Docker 容器中运行 Filebeat,您可以通过指定 --read-only
选项来实现。Filebeat 需要一个有状态的目录来存储应用程序数据,因此使用 --read-only
选项时,您还需要使用 --mount
选项来指定可以存储该数据的路径。
例如
docker run --rm \ --mount type=bind,source=$(pwd)/data,destination=/usr/share/filebeat/data \ --read-only \ docker.elastic.co/beats/filebeat:8.17.0
在 Docker 上配置 Filebeat
编辑Docker 镜像提供了几种配置 Filebeat 的方法。传统方法是通过卷挂载提供配置文件,但也可以创建包含配置的自定义镜像。
示例配置文件
编辑下载此示例配置文件作为起点
curl -L -O https://raw.githubusercontent.com/elastic/beats/8.17/deploy/docker/filebeat.docker.yml
卷挂载配置
编辑在 Docker 上配置 Filebeat 的一种方法是通过卷挂载提供 filebeat.docker.yml
。使用 docker run
,可以像这样指定卷挂载。
docker run -d \ --name=filebeat \ --user=root \ --volume="$(pwd)/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \ --volume="/var/lib/docker/containers:/var/lib/docker/containers:ro" \ --volume="/var/run/docker.sock:/var/run/docker.sock:ro" \ --volume="registry:/usr/share/filebeat/data:rw" \ docker.elastic.co/beats/filebeat:8.17.0 filebeat -e --strict.perms=false \ -E output.elasticsearch.hosts=["elasticsearch:9200"]
自定义您的配置
编辑您先前下载的 filebeat.docker.yml
文件配置为基于应用于容器的 Docker 标签部署 Beats 模块。有关更多详细信息,请参阅 基于提示的自动发现。将标签添加到您的应用程序 Docker 容器,它们将在部署时被 Beats 自动发现功能拾取。这是一个带有标签的 Apache HTTP Server 容器的示例命令,用于配置 Apache HTTP Server 的 Filebeat 和 Metricbeat 模块
docker run \ --label co.elastic.logs/module=apache2 \ --label co.elastic.logs/fileset.stdout=access \ --label co.elastic.logs/fileset.stderr=error \ --label co.elastic.metrics/module=apache \ --label co.elastic.metrics/metricsets=status \ --label co.elastic.metrics/hosts='${data.host}:${data.port}' \ --detach=true \ --name my-apache-app \ -p 8080:80 \ httpd:2.4
自定义镜像配置
编辑可以将您的 Filebeat 配置嵌入到自定义镜像中。这是一个实现此目的的示例 Dockerfile
FROM docker.elastic.co/beats/filebeat:8.17.0 COPY --chown=root:filebeat filebeat.yml /usr/share/filebeat/filebeat.yml
On this page