New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« Msgpack 编解码器插件 Netflow 编解码器插件 »
Elastic 文档 ›Logstash 参考 [8.17] ›编解码器插件

多行编解码器插件

编辑

多行编解码器插件

编辑

对于其他版本，请参阅版本化插件文档。

获取帮助

编辑

有关插件的问题，请在Discuss论坛中开启一个主题。对于错误或功能请求，请在Github中开启一个 issue。有关 Elastic 支持的插件列表，请查阅Elastic 支持矩阵。

描述

编辑

多行编解码器会将多行消息折叠并合并到单个事件中。

如果您正在使用支持多个主机的 Logstash 输入插件，例如beats 输入插件，则不应使用多行编解码器来处理多行事件。这样做可能会导致流的混合和事件数据损坏。在这种情况下，您需要在将事件数据发送到 Logstash 之前处理多行事件。

此编解码器的最初目标是允许将文件中的多行消息连接到单个事件中。例如，将 Java 异常和堆栈跟踪消息连接到单个事件中。

配置如下所示

    input {
      stdin {
        codec => multiline {
          pattern => "pattern, a regexp"
          negate => "true" or "false"
          what => "previous" or "next"
        }
      }
    }

pattern 应匹配您认为指示该字段是多行事件一部分的内容。

what 必须是 previous 或 next，并指示与多行事件的关系。

negate 可以是 true 或 false（默认为 false）。如果为 true，则与模式不匹配的消息将构成多行过滤器匹配，并且将应用 what。（反之亦然）

例如，Java 堆栈跟踪是多行的，通常消息从最左边开始，随后的每一行都缩进。这样做

    input {
      stdin {
        codec => multiline {
          pattern => "^\s"
          what => "previous"
        }
      }
    }

这表示任何以空格开头的行都属于上一行。

另一个示例是将不以日期开头的行合并到上一行..

    input {
      file {
        path => "/var/log/someapp.log"
        codec => multiline {
          # Grok pattern names are valid! :)
          pattern => "^%{TIMESTAMP_ISO8601} "
          negate => true
          what => "previous"
        }
      }
    }

这表示任何不以时间戳开头的行都应与上一行合并。

另一个更常见的示例是 C 行续行符（反斜杠）。以下是如何操作

    input {
      stdin {
        codec => multiline {
          pattern => "\\$"
          what => "next"
        }
      }
    }

这表示任何以反斜杠结尾的行都应与下一行合并。

多行编解码器配置选项

编辑
设置 输入类型 必需

auto_flush_interval

数字

否

charset

字符串，以下之一 ["ASCII-8BIT", "UTF-8", "US-ASCII", "Big5", "Big5-HKSCS", "Big5-UAO", "CP949", "Emacs-Mule", "EUC-JP", "EUC-KR", "EUC-TW", "GB2312", "GB18030", "GBK", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-10", "ISO-8859-11", "ISO-8859-13", "ISO-8859-14", "ISO-8859-15", "ISO-8859-16", "KOI8-R", "KOI8-U", "Shift_JIS", "UTF-16BE", "UTF-16LE", "UTF-32BE", "UTF-32LE", "Windows-31J", "Windows-1250", "Windows-1251", "Windows-1252", "IBM437", "IBM737", "IBM775", "CP850", "IBM852", "CP852", "IBM855", "CP855", "IBM857", "IBM860", "IBM861", "IBM862", "IBM863", "IBM864", "IBM865", "IBM866", "IBM869", "Windows-1258", "GB1988", "macCentEuro", "macCroatian", "macCyrillic", "macGreek", "macIceland", "macRoman", "macRomania", "macThai", "macTurkish", "macUkraine", "CP950", "CP951", "IBM037", "stateless-ISO-2022-JP", "eucJP-ms", "CP51932", "EUC-JIS-2004", "GB12345", "ISO-2022-JP", "ISO-2022-JP-2", "CP50220", "CP50221", "Windows-1256", "Windows-1253", "Windows-1255", "Windows-1254", "TIS-620", "Windows-874", "Windows-1257", "MacJapanese", "UTF-7", "UTF8-MAC", "UTF-16", "UTF-32", "UTF8-DoCoMo", "SJIS-DoCoMo", "UTF8-KDDI", "SJIS-KDDI", "ISO-2022-JP-KDDI", "stateless-ISO-2022-JP-KDDI", "UTF8-SoftBank", "SJIS-SoftBank", "BINARY", "CP437", "CP737", "CP775", "IBM850", "CP857", "CP860", "CP861", "CP862", "CP863", "CP864", "CP865", "CP866", "CP869", "CP1258", "Big5-HKSCS:2008", "ebcdic-cp-us", "eucJP", "euc-jp-ms", "EUC-JISX0213", "eucKR", "eucTW", "EUC-CN", "eucCN", "CP936", "ISO2022-JP", "ISO2022-JP2", "ISO8859-1", "ISO8859-2", "ISO8859-3", "ISO8859-4", "ISO8859-5", "ISO8859-6", "CP1256", "ISO8859-7", "CP1253", "ISO8859-8", "CP1255", "ISO8859-9", "CP1254", "ISO8859-10", "ISO8859-11", "CP874", "ISO8859-13", "CP1257", "ISO8859-14", "ISO8859-15", "ISO8859-16", "CP878", "MacJapan", "ASCII", "ANSI_X3.4-1968", "646", "CP65000", "CP65001", "UTF-8-MAC", "UTF-8-HFS", "UCS-2BE", "UCS-4BE", "UCS-4LE", "CP932", "csWindows31J", "SJIS", "PCK", "CP1250", "CP1251", "CP1252", "external", "locale"]

否

ecs_compatibility

字符串

否

max_bytes

字节

否

max_lines

数字

否

multiline_tag

字符串

否

negate

布尔值

否

pattern

字符串

是

patterns_dir

数组

否

what

字符串，以下之一 ["previous", "next"]

是

 

auto_flush_interval

编辑
  • 值类型为 数字
  • 此设置没有默认值。

当看到匹配的新行或在此时间（以秒为单位）内没有新数据附加时，多个行的累积将转换为事件。没有默认值。如果未设置，则不进行自动刷新。单位：秒

charset

编辑
  • 值可以是以下任何一个：ASCII-8BIT、UTF-8、US-ASCII、Big5、Big5-HKSCS、Big5-UAO、CP949、Emacs-Mule、EUC-JP、EUC-KR、EUC-TW、GB2312、GB18030、GBK、ISO-8859-1、ISO-8859-2、ISO-8859-3、ISO-8859-4、ISO-8859-5、ISO-8859-6、ISO-8859-7、ISO-8859-8、ISO-8859-9、ISO-8859-10、ISO-8859-11、ISO-8859-13、ISO-8859-14、ISO-8859-15、ISO-8859-16、KOI8-R、KOI8-U、Shift_JIS、UTF-16BE、UTF-16LE、UTF-32BE、UTF-32LE、Windows-31J、Windows-1250、Windows-1251、Windows-1252、IBM437、IBM737、IBM775、CP850、IBM852、CP852、IBM855、CP855、IBM857、IBM860、IBM861、IBM862、IBM863、IBM864、IBM865、IBM866、IBM869、Windows-1258、GB1988、macCentEuro、macCroatian、macCyrillic、macGreek、macIceland、macRoman、macRomania、macThai、macTurkish、macUkraine、CP950、CP951、IBM037、stateless-ISO-2022-JP、eucJP-ms、CP51932、EUC-JIS-2004、GB12345、ISO-2022-JP、ISO-2022-JP-2、CP50220、CP50221、Windows-1256、Windows-1253、Windows-1255、Windows-1254、TIS-620、Windows-874、Windows-1257、MacJapanese、UTF-7、UTF8-MAC、UTF-16、UTF-32、UTF8-DoCoMo、SJIS-DoCoMo、UTF8-KDDI、SJIS-KDDI、ISO-2022-JP-KDDI、stateless-ISO-2022-JP-KDDI、UTF8-SoftBank、SJIS-SoftBank、BINARY、CP437、CP737、CP775、IBM850、CP857、CP860、CP861、CP862、CP863、CP864、CP865、CP866、CP869、CP1258、Big5-HKSCS:2008、ebcdic-cp-us、eucJP、euc-jp-ms、EUC-JISX0213、eucKR、eucTW、EUC-CN、eucCN、CP936、ISO2022-JP、ISO2022-JP2、ISO8859-1、ISO8859-2、ISO8859-3、ISO8859-4、ISO8859-5、ISO8859-6、CP1256、ISO8859-7、CP1253、ISO8859-8、CP1255、ISO8859-9、CP1254、ISO8859-10、ISO8859-11、CP874、ISO8859-13、CP1257、ISO8859-14、ISO8859-15、ISO8859-16、CP878、MacJapan、ASCII、ANSI_X3.4-1968、646、CP65000、CP65001、UTF-8-MAC、UTF-8-HFS、UCS-2BE、UCS-4BE、UCS-4LE、CP932、csWindows31J、SJIS、PCK、CP1250、CP1251、CP1252、external、locale
  • 默认值为 "UTF-8"

此输入中使用的字符编码。示例包括 UTF-8 和 cp1252

如果您的日志文件使用 Latin-1（又名 cp1252）或其他字符集而不是 UTF-8，则此设置很有用。

这只会影响“纯”格式的日志，因为 JSON 已经是 UTF-8。

ecs_compatibility

编辑
  • 值类型为 字符串

  • 支持的值为

    • disabled：插件仅设置 message 字段
    • v1、v8：符合 Elastic Common Schema 的行为（还会添加 [event][original]）

  • 默认值取决于运行的 Logstash 版本

    • 当 Logstash 提供 pipeline.ecs_compatibility 设置时，其值将用作默认值
    • 否则，默认值为 disabled

控制此插件与Elastic Common Schema (ECS)的兼容性。

max_bytes

编辑
  • 值类型为 字节
  • 默认值为 "10 MiB"

如果未正确定义事件边界，事件的累积可能会导致 logstash 因内存不足错误而退出。此设置确保在达到字节数后刷新多行事件，它与 max_lines 结合使用。

max_lines

编辑
  • 值类型为 数字
  • 默认值为 500

如果事件边界未正确定义，事件的累积可能会导致 Logstash 因内存不足错误而退出。此设置确保在达到一定行数后刷新多行事件，它与 max_bytes 结合使用。

multiline_tag

编辑
  • 值类型为 字符串
  • 默认值是 "multiline"

使用给定的标签标记多行事件。此标签只会添加到实际包含多行的事件中。

negate

编辑

对正则表达式模式取反（如果不匹配）。

pattern

编辑
  • 这是一个必填设置。
  • 值类型为 字符串
  • 此设置没有默认值。

要匹配的正则表达式。

patterns_dir

编辑
  • 值类型是 数组
  • 默认值是 []

Logstash 默认附带了一系列模式，因此除非您要添加其他模式，否则您无需自己定义此项。

模式文件是纯文本格式，格式如下：

    NAME PATTERN

例如

    NUMBER \d+

what

编辑
  • 这是一个必填设置。
  • 值可以是以下任何一种： previous， next
  • 此设置没有默认值。

如果模式匹配，则事件属于下一个事件还是上一个事件？

« Msgpack 编解码器插件 Netflow 编解码器插件 »