持久化队列 (PQ)

您可以使用 queue.max_events 和 queue.max_bytes 设置来控制队列大小。如果同时指定了这两个设置，Logstash 将使用首先达到的标准。有关达到队列限制时的行为，请参阅处理反压力。

队列的适当大小取决于用例。作为一般指导原则，请考虑以下公式来调整持久化队列的大小。

Bytes Received Per Second = Incoming Events Per Second * Raw Event Byte Size
Bytes Received Per Hour = Bytes Received per Second * 3600s
Required Queue Capacity = (Bytes Received Per Hour * Tolerated Hours of Downtime) * Multiplication Factor 

如果您使用持久化队列来防止数据丢失，但不需要太多缓冲，您可以将 queue.max_bytes 设置为较小的值。较小的值可能会产生较小的队列并提高队列性能。

示例配置

queue.type: persisted
queue.max_bytes: 10mb

将 queue.checkpoint.writes 和 queue.checkpoint.acks 设置为 0 可能会产生最大性能，但可能会对持久性产生潜在影响。

在 Logstash 终止或出现硬件级别故障的情况下，任何尚未进行检查点操作的数据都将丢失。请参阅控制持久性以更好地了解权衡。

持久化队列可以在您的管道到管道配置中发挥重要作用。

the `pqcheck` utility to identify which persistent queue--or queues--have been corrupted.

从 LOGSTASH_HOME 运行

bin/pqcheck <queue_directory>

其中 <queue_directory> 是持久化队列位置的完整路径。

pqcheck 实用程序会读取给定目录中的检查点文件，并输出有关这些文件当前状态的信息。该实用程序会为每个检查点文件输出此信息

具有健康页面文件的示例

此示例表示一个包含三个页面文件的健康队列。在此示例中，Logstash 当前正在写入 page.2，如 checkpoint.head 所引用。Logstash 正在从 page.0 读取，如 checkpoint.0 所引用。

ubuntu@bigger:/usr/share/logstash$ bin/pqcheck /var/lib/logstash/queue/main/
Using bundled JDK: /usr/share/logstash/jdk
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Checking queue dir: /var/lib/logstash/queue/main
checkpoint.1, fully-acked: NO, page.1 size: 67108864
  pageNum=1, firstUnackedPageNum=0, firstUnackedSeqNum=239675, minSeqNum=239675,
  elementCount=218241, isFullyAcked=no
checkpoint.head, fully-acked: NO, page.2 size: 67108864
  pageNum=2, firstUnackedPageNum=0, firstUnackedSeqNum=457916, minSeqNum=457916, elementCount=11805, isFullyAcked=no
checkpoint.0, fully-acked: NO, page.0 size: 67108864  
  pageNum=0, firstUnackedPageNum=0, firstUnackedSeqNum=176126, minSeqNum=1,
  elementCount=239674, isFullyAcked=no 

包含损坏页面文件的示例

如果 Logstash 没有启动和/或 pqcheck 显示异常，例如页面的 NOT_FOUND，请在队列目录上运行 pqrepair。

bin/pqcheck /var/lib/logstash/queue/main/
Using bundled JDK: /usr/share/logstash/jdk
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Checking queue dir: /var/lib/logstash/queue/main
checkpoint.head, fully-acked: NO, page.2 size: NOT FOUND 
  pageNum=2, firstUnackedPageNum=2, firstUnackedSeqNum=534041, minSeqNum=457916,
  elementCount=76127, isFullyAcked=no

pqrepair 实用程序尝试删除损坏的队列段，使队列恢复正常工作。它从启动所在的目录开始搜索，并查找 data/queue/main。

从 LOGSTASH_HOME 运行

bin/pqrepair <queue_directory>

其中 <queue_directory> 是持久化队列位置的完整路径。

如果实用程序运行正常，则没有输出。

pqrepair 实用程序需要对目录的写入权限。当 Logstash 作为服务运行时，文件夹权限可能会导致问题。在这种情况下，请使用 sudo。

/usr/share/logstash$ sudo -u logstash bin/pqrepair /var/lib/logstash/queue/main/

运行 pqrepair 后，重新启动 Logstash 以验证修复操作是否成功。

您可能会遇到需要清空队列的情况。示例包括

要清空持久队列

当队列已满时，Logstash 会对输入施加背压，以阻止数据流入 Logstash。此机制有助于 Logstash 在输入阶段控制数据流速率，而不会使 Elasticsearch 等输出不堪重负。

使用 queue.max_bytes 设置来配置磁盘上队列的总容量。以下示例将队列的总容量设置为 8GB

queue.type: persisted
queue.max_bytes: 8gb

通过指定这些设置，Logstash 会在磁盘上缓冲事件，直到队列的大小达到 8GB。当队列中充满未 ACKed 的事件并且达到大小限制时，Logstash 将不再接受新事件。

每个输入都会独立处理背压。例如，当 beats 输入遇到背压时，它将不再接受新连接，并等待持久队列有空间接受更多事件。在过滤器和输出阶段完成处理队列中的现有事件并 ACK 它们之后，Logstash 会自动开始接受新事件。

持久性是存储写入的属性，可确保数据在写入后可用。

启用持久队列功能后，Logstash 会将事件存储在磁盘上。Logstash 通过一种称为检查点的机制提交到磁盘。

队列本身是一组页面。有两种页面：头页面和尾页面。头页面是写入新事件的位置。只有一个头页面。当头页面达到特定大小（请参阅 queue.page_capacity）时，它将变为尾页面，并创建一个新的头页面。尾页面是不可变的，而头页面是仅追加的。其次，队列会在一个单独的名为检查点文件的文件中记录关于自身（页面、确认等）的详细信息。

记录检查点时，Logstash

检查点的过程是原子的，这意味着对文件的任何更新都将在成功时保存。

您可以通过设置 queue.checkpoint.writes 来强制 Logstash 更频繁地进行检查点。此设置指定在强制执行检查点之前可能写入磁盘的最大事件数。默认值为 1024。要确保最大程度的持久性并避免持久队列中的数据丢失，您可以将 queue.checkpoint.writes: 1 设置为在每次写入事件后强制执行检查点。请记住，磁盘写入会产生资源成本。将此值设置为 1 会严重影响性能。

在磁盘上，队列存储为一组页面，其中每个页面都是一个文件。每个页面的大小最大为 queue.page_capacity。在页面中的所有事件都被 ACKed 后，页面将被删除（垃圾回收）。如果较旧的页面中至少有一个事件尚未被 ACKed，则整个页面将保留在磁盘上，直到该页面中的所有事件都成功处理。每个包含未处理事件的页面都将计入 queue.max_bytes 字节大小。