Filebeat 长时间保留已删除文件的打开文件句柄

编辑

Filebeat 长时间保留已删除文件的打开文件句柄编辑

在默认情况下,Filebeat 会打开文件并一直保持打开状态,直到它到达文件的末尾。如果配置的输出被阻塞(例如 Elasticsearch 或 Logstash 不可用)很长时间,这会导致 Filebeat 继续保留对已从文件系统中删除的文件的文件句柄。只要 Filebeat 保持已删除文件的打开状态,操作系统就不会释放磁盘上的空间,这会导致磁盘使用率增加,甚至可能导致磁盘空间不足的情况。

要缓解此问题,您可以将 close_timeout 设置为 5m。这将确保每个文件句柄每 5 分钟关闭一次,无论它是否已到达 EOF。请注意,如果在 Filebeat 达到文件末尾之前删除了文件,此选项可能会导致数据丢失。