内存队列
编辑内存队列
编辑默认情况下，Logstash 在管道阶段（输入 → 管道工作进程）之间使用内存有界队列来缓冲事件。如果 Logstash 遇到临时机器故障，内存队列的内容将丢失。临时机器故障是指 Logstash 或其主机异常终止但能够重新启动的情况。
内存队列大小
编辑内存队列大小并非直接配置。相反，它取决于 Logstash 的调整方式。
它的上限由 pipeline.workers（默认值：CPU 数量）乘以 pipeline.batch.size（默认值：125）个事件定义。此值称为“进行中计数”，它决定每个内存队列中可以容纳的最大事件数。
将工作进程数量加倍或将批大小加倍将有效地使内存队列的容量（和内存使用量）加倍。两者都加倍将使容量（和使用量）*翻两番*。
每个管道都有自己的队列。
有关调整 pipeline.batch.size 和 pipeline.workers 的影响的更多信息，请参阅 调整和分析 Logstash 管道性能。
如果您需要吸收流量突增，请考虑改用 持久化队列。持久化队列绑定到磁盘上分配的容量。
影响队列大小的设置
编辑这些值可以在 logstash.yml 和 pipelines.yml 中配置。
- pipeline.batch.size
- 在发送到过滤器和工作进程之前从输入中检索的事件数。默认值为 125。
- pipelines.workers
- 将并行执行管道的过滤器和输出阶段的工作进程数。此值默认为主机 CPU 内核数。
背压
编辑当队列已满时，Logstash 会对输入施加背压以阻止数据流入 Logstash。此机制有助于 Logstash 控制输入阶段的数据流速率，而不会压垮 Elasticsearch 等输出。
每个输入都独立处理背压。