解析字符串编辑

dissect 处理器使用定义的模式对传入的字符串进行标记。

processors:
  - dissect:
      tokenizer: "%{key1} %{key2} %{key3|convert_datatype}"
      field: "message"
      target_prefix: "dissect"

dissect 处理器具有以下配置设置

tokenizer
用于定义解析模式的字段。可选的转换数据类型可以在键之后使用|作为分隔符提供,以将值从字符串转换为整数、长整数、浮点数、双精度浮点数、布尔值或 IP 地址。
field
(可选) 要标记的事件字段。默认值为message
target_prefix
(可选) 要提取值的字段的名称。当定义为空字符串时,处理器将在事件的根目录处创建键。默认值为dissect。当目标键已存在于事件中时,处理器不会替换它,并会记录错误;您需要在使用 dissect 之前删除或重命名键,或者启用overwrite_keys标志。
ignore_failure
(可选) 用于控制如果标记器无法匹配消息字段,处理器是否返回错误的标志。如果设置为 true,处理器将静默地恢复原始事件,允许执行后续处理器(如果有)。如果设置为 false(默认值),处理器将记录错误,阻止执行其他处理器。
overwrite_keys
(可选) 当设置为 true 时,处理器将覆盖事件中现有的键。默认值为 false,这会导致处理器在键已存在时失败。
trim_values

(可选) 启用提取值的修剪。有助于删除前导和/或尾随空格。可能的值是

  • none: (默认值) 不执行修剪。
  • left: 值在左侧(前导)被修剪。
  • right: 值在右侧(尾随)被修剪。
  • all: 值被修剪前导和尾随。
trim_chars
(可选) 要从值中修剪的字符集,在启用修剪时。默认情况下,修剪空格字符 (" ")。要修剪多个字符,只需将其设置为包含所有要修剪的字符的字符串。例如,trim_chars: " \t" 将修剪空格和/或制表符。

为了使标记成功,必须找到并提取所有键,如果其中一个键找不到,则会记录错误,并且不会对原始事件进行任何修改。

一个键可以包含除保留的后缀或前缀修饰符之外的任何字符:/,&, +, #?

有关支持条件的列表,请参见条件

解析示例编辑

对于此示例,假设一个应用程序生成以下消息

"321 - App01 - WebServer is starting"
"321 - App01 - WebServer is up and running"
"321 - App01 - WebServer is scaling 2 pods"
"789 - App02 - Database is will be restarted in 5 minutes"
"789 - App02 - Database is up and running"
"789 - App02 - Database is refreshing tables"

使用dissect处理器将每条消息拆分为三个字段,例如,service.pidservice.nameservice.status

processors:
  - dissect:
      tokenizer: '"%{service.pid|integer} - %{service.name} - %{service.status}"'
      field: "message"
      target_prefix: ""

此配置会生成类似于以下内容的字段

"service": {
  "pid": 321,
  "name": "App01",
  "status": "WebServer is up and running"
},

service.name 是一个 ECS 关键字字段,这意味着您可以在 Elasticsearch 中使用它进行过滤、排序和聚合。

尽可能使用与 ECS 兼容的字段名称。有关更多信息,请参阅Elastic 通用模式 文档。