持久化队列 (PQ)

您可以使用queue.max_events和queue.max_bytes设置来控制队列大小。如果同时指定了这两个设置，Logstash 将使用先达到的条件。请参阅处理反压以了解达到队列限制时的行为。

队列的适当大小取决于用例。作为一般指导原则，请考虑使用以下公式来确定持久化队列的大小。

Bytes Received Per Second = Incoming Events Per Second * Raw Event Byte Size
Bytes Received Per Hour = Bytes Received per Second * 3600s
Required Queue Capacity = (Bytes Received Per Hour * Tolerated Hours of Downtime) * Multiplication Factor 

如果您使用持久化队列来防止数据丢失，但不需要太多缓冲，则可以将queue.max_bytes设置为较小的值。较小的值可能会产生较小的队列并提高队列性能。

示例配置

queue.type: persisted
queue.max_bytes: 10mb

将queue.checkpoint.writes和queue.checkpoint.acks设置为0可能会产生最佳性能，但可能会对持久性产生潜在影响。

如果 Logstash 被终止或发生硬件级故障，则任何尚未检查点的数据都将丢失。请参阅控制持久性以更好地了解权衡取舍。

持久化队列可以在您的管道到管道配置中发挥重要作用。

the `pqcheck` utility to identify which persistent queue--or queues--have been corrupted.

从 LOGSTASH_HOME 运行

bin/pqcheck <queue_directory>

其中 <queue_directory> 是持久队列位置的完全限定路径。

pqcheck 实用程序会读取给定目录中的检查点文件，并输出有关这些文件当前状态的信息。该实用程序为每个检查点文件输出以下信息

包含正常页面文件的示例

此示例表示一个包含三个页面文件的正常队列。在此示例中，Logstash 当前正在写入 checkpoint.head 引用的 page.2。Logstash 正在从 checkpoint.0 引用的 page.0 读取。

ubuntu@bigger:/usr/share/logstash$ bin/pqcheck /var/lib/logstash/queue/main/
Using bundled JDK: /usr/share/logstash/jdk
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Checking queue dir: /var/lib/logstash/queue/main
checkpoint.1, fully-acked: NO, page.1 size: 67108864
  pageNum=1, firstUnackedPageNum=0, firstUnackedSeqNum=239675, minSeqNum=239675,
  elementCount=218241, isFullyAcked=no
checkpoint.head, fully-acked: NO, page.2 size: 67108864
  pageNum=2, firstUnackedPageNum=0, firstUnackedSeqNum=457916, minSeqNum=457916, elementCount=11805, isFullyAcked=no
checkpoint.0, fully-acked: NO, page.0 size: 67108864  
  pageNum=0, firstUnackedPageNum=0, firstUnackedSeqNum=176126, minSeqNum=1,
  elementCount=239674, isFullyAcked=no 

包含损坏页面文件的示例

如果 Logstash 未启动和/或 pqcheck 显示异常（例如页面的 NOT_FOUND），请在队列目录上运行 pqrepair。

bin/pqcheck /var/lib/logstash/queue/main/
Using bundled JDK: /usr/share/logstash/jdk
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Checking queue dir: /var/lib/logstash/queue/main
checkpoint.head, fully-acked: NO, page.2 size: NOT FOUND 
  pageNum=2, firstUnackedPageNum=2, firstUnackedSeqNum=534041, minSeqNum=457916,
  elementCount=76127, isFullyAcked=no

pqrepair 实用程序会尝试删除损坏的队列段，以使队列恢复正常工作秩序。它从启动的目录开始搜索，并查找 data/queue/main。

从 LOGSTASH_HOME 运行

bin/pqrepair <queue_directory>

其中 <queue_directory> 是持久队列位置的完全限定路径。

如果该实用程序运行正常，则不会有任何输出。

pqrepair 实用程序需要对该目录具有写访问权限。当 Logstash 作为服务运行时，文件夹权限可能会导致问题。在这种情况下，请使用 sudo。

/usr/share/logstash$ sudo -u logstash bin/pqrepair /var/lib/logstash/queue/main/

运行 pqrepair 后，请重新启动 Logstash 以验证修复操作是否成功。

您可能会遇到想要清空队列的情况。示例包括

要清空持久队列，请执行以下操作

当队列已满时，Logstash 会对输入施加背压，以阻止数据流入 Logstash。此机制有助于 Logstash 控制输入阶段的数据流速率，而不会使 Elasticsearch 等输出过载。

使用 queue.max_bytes 设置来配置队列在磁盘上的总容量。以下示例将队列的总容量设置为 8gb

queue.type: persisted
queue.max_bytes: 8gb

指定了这些设置后，Logstash 会将事件缓冲在磁盘上，直到队列的大小达到 8gb。当队列中充满了未 ACK 的事件，并且已达到大小限制时，Logstash 将不再接受新事件。

每个输入都独立处理背压。例如，当 beats 输入遇到背压时，它将不再接受新连接，并等待持久队列有空间接受更多事件。在过滤器和输出阶段完成对队列中现有事件的处理并对其进行 ACK 后，Logstash 会自动开始接受新事件。

持久性是存储写入的一个属性，可确保数据在写入后可用。

启用持久队列功能后，Logstash 会将事件存储在磁盘上。Logstash 通过一种称为“检查点”的机制提交到磁盘。

队列本身是一组页面。页面有两种：头部页面和尾部页面。头部页面是写入新事件的位置。只有一个头部页面。当头部页面达到一定大小（请参阅 queue.page_capacity）时，它将变为尾部页面，并创建一个新的头部页面。尾部页面是不可变的，而头部页面是只允许追加的。其次，队列会将有关自身（页面、确认等）的详细信息记录在一个单独的文件中，该文件称为检查点文件。

记录检查点时，Logstash 会执行以下操作

检查点过程是原子的，这意味着如果成功，则会保存对文件的任何更新。

您可以通过设置 queue.checkpoint.writes 来强制 Logstash 更频繁地进行检查点。此设置指定在强制进行检查点之前可以写入磁盘的最大事件数。默认值为 1024。为了确保最大程度的持久性并避免持久队列中的数据丢失，您可以设置 queue.checkpoint.writes: 1 以在写入每个事件后强制进行检查点。请记住，磁盘写入会消耗资源。将此值设置为 1 会严重影响性能。

在磁盘上，队列存储为一组页面，其中每个页面都是一个文件。每个页面的最大大小为 queue.page_capacity。在页面中的所有事件都已 ACK 后，将删除（垃圾收集）该页面。如果较旧的页面中至少有一个事件尚未 ACK，则整个页面将保留在磁盘上，直到该页面中的所有事件都已成功处理。每个包含未处理事件的页面都将计入 queue.max_bytes 字节大小。