队列和数据弹性

编辑

队列和数据弹性

编辑

默认情况下,Logstash 在管道阶段(输入 → 管道工作进程)之间使用内存有界队列来缓冲事件。

当数据流经事件处理管道时,Logstash 可能会遇到阻止其将事件传递到配置的输出的情况。 例如,数据可能包含意外的数据类型,或者 Logstash 可能异常终止。

为了防止数据丢失并确保事件无中断地流经管道,Logstash 提供了数据弹性功能。

  • 持久队列 (PQ)通过将事件存储在磁盘上的内部队列中来防止数据丢失。
  • 死信队列 (DLQ)为 Logstash 无法处理的事件提供磁盘存储,以便您可以评估它们。您可以使用dead_letter_queue输入插件轻松地重新处理死信队列中的事件。

这些弹性功能默认情况下处于禁用状态。要启用这些功能,您必须在 Logstash 设置文件中显式启用它们。