Dead_letter_queue 输入插件

编辑

Dead_letter_queue 输入插件编辑

  • 插件版本:v2.0.0
  • 发布时间:2022-08-02
  • 更新日志

有关其他版本,请参阅版本化插件文档

获取帮助编辑

如果您对插件有任何疑问,请在论坛中打开一个主题。对于错误或功能请求,请在Github中打开一个问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵

描述编辑

Logstash 输入插件,用于从 Logstash 的死信队列中读取事件。

input {
  dead_letter_queue {
    path => "/var/logstash/data/dead_letter_queue"
    start_timestamp => "2017-04-04T23:40:37"
  }
}

有关处理死信队列中的事件的更多信息,请参阅死信队列

Dead_letter_queue 输入配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项

设置 输入类型 是否必需

clean_consumed

布尔值

commit_offsets

布尔值

路径

有效的文件夹路径

pipeline_id

字符串

sincedb_path

字符串

start_timestamp

字符串

另请参阅通用选项,以获取所有输入插件支持的选项列表。

 

clean_consumed编辑

设置为true时,此选项将删除已读取的 DLQ 段。此功能要求将commit_offsets设置为true。否则,您将收到配置错误。此功能在 Logstash 8.4.0 及更高版本中可用。如果此设置为true,并且您使用的是 8.4.0 之前的 Logstash 版本,则您将收到配置错误。

commit_offsets编辑

指定此输入在处理事件时是否应提交偏移量。通常,当您希望多次迭代死信队列中的事件,但不想保存状态时,可以指定false。这是您在探索死信队列中的事件时的情况。

path编辑

  • 这是一个必填设置。
  • 值类型为路径
  • 此设置没有默认值。

由 Logstash 实例创建的死信队列目录的路径。这是从中读取“死”事件的路径,通常在原始 Logstash 实例中使用设置path.dead_letter_queue进行配置。

pipeline_id编辑

您要从中读取事件的管道的 ID。

sincedb_path编辑

  • 值类型为字符串
  • 此设置没有默认值。

将写入磁盘的 sincedb 数据库文件(跟踪死信队列的当前位置)的路径。默认情况下,sincedb 文件将写入<path.data>/plugins/inputs/dead_letter_queue

此值必须是文件路径,而不是目录路径。

start_timestamp编辑

  • 值类型为字符串
  • 此设置没有默认值。

以 ISO8601 格式表示的您要开始处理事件的时间戳。例如,2017-04-04T23:40:37

通用选项编辑

以下配置选项受所有输入插件支持

设置 输入类型 是否必需

add_field

哈希

编解码器

编解码器

enable_metric

布尔值

id

字符串

标签

数组

类型

字符串

详细信息编辑

 

add_field编辑

  • 值类型为哈希
  • 默认值为{}

向事件添加字段

codec编辑

用于输入数据的编解码器。输入编解码器是一种方便的方法,用于在数据进入输入之前对其进行解码,而无需在 Logstash 管道中使用单独的过滤器。

enable_metric编辑

默认情况下,我们记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

id编辑

  • 值类型为字符串
  • 此设置没有默认值。

向插件配置添加唯一的ID。如果未指定 ID,Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时,例如,如果您有 2 个 dead_letter_queue 输入,这将特别有用。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  dead_letter_queue {
    id => "my_plugin_id"
  }
}

id字段中的变量替换仅支持环境变量,不支持使用密钥库中的值。

tags编辑

  • 值类型为数组
  • 此设置没有默认值。

向您的事件添加任意数量的任意标签。

这有助于以后的处理。

type编辑

  • 值类型为字符串
  • 此设置没有默认值。

向此输入处理的所有事件添加type字段。

类型主要用于过滤器激活。

类型作为事件本身的一部分存储,因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型(例如,当您将事件从传送器发送到索引器时),则新输入不会覆盖现有类型。在传送器处设置的类型将保留在该事件的生命周期内,即使该事件被发送到另一个 Logstash 服务器也是如此。