队列和数据弹性

编辑

队列和数据弹性编辑

默认情况下,Logstash 在管道阶段(输入 → 管道工作者)之间使用 内存有界队列 来缓冲事件。

当数据流经事件处理管道时,Logstash 可能会遇到阻止它将事件传递到配置的输出的情况。例如,数据可能包含意外的数据类型,或者 Logstash 可能会异常终止。

为了防止数据丢失并确保事件在管道中无中断地流动,Logstash 提供了数据弹性功能。

  • 持久队列 (PQ) 通过将事件存储在磁盘上的内部队列中来防止数据丢失。
  • 死信队列 (DLQ) 为 Logstash 无法处理的事件提供磁盘存储,以便您可以对其进行评估。您可以使用 dead_letter_queue 输入插件轻松地重新处理死信队列中的事件。

这些弹性功能默认情况下处于禁用状态。要启用这些功能,您必须在 Logstash 设置文件 中显式启用它们。