- Filebeat 参考其他版本
- Filebeat 概述
- 快速入门：安装和配置
- 设置和运行
- 升级
- Filebeat 的工作原理
- 配置
- 输入
- 模块
- 通用设置
- 项目路径
- 配置文件加载
- 输出
- Kerberos
- SSL
- 索引生命周期管理 (ILM)
- Elasticsearch 索引模板
- Kibana 端点
- Kibana 仪表板
- 处理器
- 定义处理器
- add_cloud_metadata
- add_cloudfoundry_metadata
- add_docker_metadata
- add_fields
- add_host_metadata
- add_id
- add_kubernetes_metadata
- add_labels
- add_locale
- add_network_direction
- add_nomad_metadata
- add_observer_metadata
- add_process_metadata
- add_tags
- append
- cache
- community_id
- convert
- copy_fields
- decode_base64_field
- decode_cef
- decode_csv_fields
- decode_duration
- decode_json_fields
- decode_xml
- decode_xml_wineventlog
- decompress_gzip_field
- detect_mime_type
- dissect
- dns
- drop_event
- drop_fields
- extract_array
- fingerprint
- include_fields
- move_fields
- parse_aws_vpc_flow_log
- rate_limit
- registered_domain
- rename
- replace
- script
- syslog
- timestamp
- translate_ldap_attribute
- translate_sid
- truncate_fields
- urldecode
- 自动发现
- 内部队列
- 日志记录
- HTTP 端点
- 正则表达式支持
- 检测
- 功能标志
- filebeat.reference.yml
- 操作指南
- 模块
- 模块概述
- ActiveMQ 模块
- Apache 模块
- Auditd 模块
- AWS 模块
- AWS Fargate 模块
- Azure 模块
- CEF 模块
- Check Point 模块
- Cisco 模块
- CoreDNS 模块
- CrowdStrike 模块
- Cyberark PAS 模块
- Elasticsearch 模块
- Envoyproxy 模块
- Fortinet 模块
- Google Cloud 模块
- Google Workspace 模块
- HAproxy 模块
- IBM MQ 模块
- Icinga 模块
- IIS 模块
- Iptables 模块
- Juniper 模块
- Kafka 模块
- Kibana 模块
- Logstash 模块
- Microsoft 模块
- MISP 模块
- MongoDB 模块
- MSSQL 模块
- MySQL 模块
- MySQL Enterprise 模块
- NATS 模块
- NetFlow 模块
- Nginx 模块
- Office 365 模块
- Okta 模块
- Oracle 模块
- Osquery 模块
- Palo Alto Networks 模块
- pensando 模块
- PostgreSQL 模块
- RabbitMQ 模块
- Redis 模块
- Salesforce 模块
- Santa 模块
- Snyk 模块
- Sophos 模块
- Suricata 模块
- System 模块
- Threat Intel 模块
- Traefik 模块
- Zeek (Bro) 模块
- ZooKeeper 模块
- Zoom 模块
- 导出的字段
- ActiveMQ 字段
- Apache 字段
- Auditd 字段
- AWS 字段
- AWS CloudWatch 字段
- AWS Fargate 字段
- Azure 字段
- Beat 字段
- 解码 CEF 处理器字段
- CEF 字段
- Checkpoint 字段
- Cisco 字段
- 云提供商元数据字段
- Coredns 字段
- Crowdstrike 字段
- CyberArk PAS 字段
- Docker 字段
- ECS 字段
- Elasticsearch 字段
- Envoyproxy 字段
- Fortinet 字段
- Google Cloud Platform (GCP) 字段
- google_workspace 字段
- HAProxy 字段
- 主机字段
- ibmmq 字段
- Icinga 字段
- IIS 字段
- iptables 字段
- Jolokia Discovery 自动发现提供程序字段
- Juniper JUNOS 字段
- Kafka 字段
- kibana 字段
- Kubernetes 字段
- 日志文件内容字段
- logstash 字段
- Lumberjack 字段
- Microsoft 字段
- MISP 字段
- mongodb 字段
- mssql 字段
- MySQL 字段
- MySQL Enterprise 字段
- NATS 字段
- NetFlow 字段
- Nginx 字段
- Office 365 字段
- Okta 字段
- Oracle 字段
- Osquery 字段
- panw 字段
- Pensando 字段
- PostgreSQL 字段
- 进程字段
- RabbitMQ 字段
- Redis 字段
- s3 字段
- Salesforce 字段
- Google Santa 字段
- Snyk 字段
- sophos 字段
- Suricata 字段
- System 字段
- threatintel 字段
- Traefik 字段
- Windows ETW 字段
- Zeek 字段
- ZooKeeper 字段
- Zoom 字段
- 监控
- 安全
- 故障排除
- 获取帮助
- 调试
- 了解记录的指标
- 常见问题
- 在使用 Kubernetes 元数据时提取容器 ID 时出错
- 无法从网络卷读取日志文件
- Filebeat 未从文件中收集行
- 打开的文件句柄过多
- 注册表文件太大
- Inode 重用导致 Filebeat 跳过行
- 日志轮换导致事件丢失或重复
- 打开的文件句柄导致 Windows 文件轮换出现问题
- Filebeat 占用过多 CPU
- Kibana 中的仪表板错误地分解数据字段
- 字段未在 Kibana 可视化中编制索引或可用
- Filebeat 未传输文件的最后一行
- Filebeat 长时间保持已删除文件的打开文件句柄
- Filebeat 使用过多带宽
- 加载配置文件时出错
- 发现意外或未知字符
- Logstash 连接不起作用
- 发布到 Logstash 失败，并显示“connection reset by peer”消息
- @metadata 在 Logstash 中丢失
- 不确定是使用 Logstash 还是 Beats
- SSL 客户端无法连接到 Logstash
- 监控 UI 显示的 Beats 比预期的少
- 仪表板无法定位索引模式
- 由于 MADV 设置导致高 RSS 内存使用率
- 为 Beats 做贡献
DNS 反向查找
编辑DNS 反向查找
编辑dns 处理器执行 DNS 查询。它会根据响应中包含的生存时间 (TTL) 值缓存收到的响应。它还会缓存查找期间发生的故障。此处理器的每个实例都维护自己的独立缓存。
此处理器使用自己的 DNS 解析器向名称服务器发送请求，而不是使用操作系统的解析器。它不会读取 /etc/hosts 中包含的任何值。
如果您的网络延迟较高或上游名称服务器速度较慢，则此处理器会显著降低管道的吞吐量。缓存有助于提高性能，但如果要解析的地址具有较高的基数，则由于高未命中率，缓存优势将会减弱。
例如，如果每次 DNS 查找花费 2 毫秒，则可以实现的最大吞吐量为每秒 500 个事件（1000 毫秒 / 2 毫秒）。如果缓存命中率较高，则吞吐量可能会更高。
该处理器可以发送以下查询类型
-
A- IPv4 地址 -
AAAA- IPv6 地址 -
TXT- 任意人类可读的文本数据 -
PTR- 反向 IP 地址查找
除了 PTR 之外，所有查询类型的输出值都是字符串列表。对于 PTR 查询，输出值是一个字符串。
这是一个最基本的配置示例，解析包含在两个字段中的 IP 地址。
processors: - dns: type: reverse fields: source.ip: source.domain destination.ip: destination.domain
接下来是一个显示所有选项的配置示例。
processors: - dns: type: reverse action: append transport: tls fields: server.ip: server.domain client.ip: client.domain success_cache: capacity.initial: 1000 capacity.max: 10000 min_ttl: 1m failure_cache: capacity.initial: 1000 capacity.max: 10000 ttl: 1m nameservers: ['192.0.2.1', '203.0.113.1'] timeout: 500ms tag_on_failure: [_dns_reverse_lookup_failed]
dns 处理器具有以下配置设置
-
type - 要执行的 DNS 查询的类型。支持的类型为
A、AAAA、PTR(或reverse) 和TXT。 -
action - 定义当目标字段已存在于事件中时，处理器的行为。选项包括
append(默认) 和replace。 -
fields - 这是源字段名称到目标字段名称的映射。源字段的值将用于 DNS 查询，结果将写入目标字段。
-
success_cache.capacity.initial - 成功缓存将被分配以保存的初始项目数。初始化时，处理器将为此数量的项目分配内存。默认值为
1000。 -
success_cache.capacity.max - 成功缓存可以容纳的最大项目数。达到最大容量时，将逐出随机项目。默认值为
10000。 -
success_cache.min_ttl - 成功 DNS 响应的最小备用缓存 TTL 的持续时间。确保可以缓存
TTL=0的成功反向 DNS 响应。有效时间单位为 "ns"、"us" (或 "µs")、"ms"、"s"、"m"、"h"。默认值为1m。 -
failure_cache.capacity.initial - 失败缓存将被分配以保存的初始项目数。初始化时，处理器将为此数量的项目分配内存。默认值为
1000。 -
failure_cache.capacity.max - 失败缓存可以容纳的最大项目数。达到最大容量时，将逐出随机项目。默认值为
10000。 -
failure_cache.ttl - 缓存失败的持续时间。有效时间单位为 "ns"、"us" (或 "µs")、"ms"、"s"、"m"、"h"。默认值为
1m。 -
nameservers - 要查询的名称服务器列表。如果有多个服务器，则解析器会按照列出的顺序查询它们。如果未指定任何服务器，则它将在初始化时读取
/etc/resolv.conf中列出的名称服务器。在 Windows 上，您必须始终至少提供一个名称服务器。 -
timeout - DNS 查询超时的时间。这是每个 DNS 请求的超时时间，因此如果您有 2 个名称服务器，则总超时时间将为此值的 2 倍。有效时间单位为 "ns"、"us" (或 "µs")、"ms"、"s"、"m"、"h"。默认值为
500ms。 -
tag_on_failure - 当任何查找失败时添加到事件的标记列表。即使多个查找失败，标记也只会添加一次。默认情况下，失败时不会添加任何标记。
-
transport - 应使用的传输连接类型可以是
tls（DNS over TLS）或udp。默认为udp。
Was this helpful?
Thank you for your feedback.