队列和数据弹性
编辑队列和数据弹性
编辑默认情况下,Logstash 在管道阶段(输入 → 管道工作进程)之间使用内存有限队列来缓冲事件。
当数据流经事件处理管道时,Logstash 可能会遇到阻止其将事件传递到已配置输出的情况。例如,数据可能包含意外的数据类型,或者 Logstash 可能会异常终止。
为了防止数据丢失并确保事件在管道中无中断地流动,Logstash 提供了数据弹性功能。
- 持久化队列 (PQ) 通过将事件存储在磁盘上的内部队列中来防止数据丢失。
-
死信队列 (DLQ) 提供磁盘存储空间,用于存储 Logstash 无法处理的事件,以便您可以对其进行评估。您可以使用
dead_letter_queue
输入插件轻松地重新处理死信队列中的事件。
这些弹性功能默认情况下是禁用的。要启用这些功能,必须在 Logstash 设置文件中显式启用它们。