Csv 输出插件编辑

  • 插件版本:v3.0.10
  • 发布时间:2023-12-19
  • 更新日志

有关其他版本,请参阅版本插件文档

获取帮助编辑

如果您对该插件有任何疑问,请在论坛中发帖。如有错误或功能请求,请在Github中提交问题。有关 Elastic 支持的插件列表,请参阅Elastic 支持矩阵

描述编辑

CSV 输出。

以 CSV 或其他分隔格式将事件写入磁盘。基于文件输出,许多配置值是共享的。在内部使用 Ruby csv 库。

Csv 输出配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项

另请参阅通用选项,以获取所有输出插件支持的选项列表。

 

create_if_deleted编辑

如果已配置的文件被删除,但插件处理了一个事件,则插件将重新创建该文件。默认值 ⇒ true

csv_options编辑

  • 值类型为哈希
  • 默认值为{}

CSV 输出的选项。这将直接传递给 Ruby stdlib to_csv 函数。完整的文档可在Ruby CSV 文档页面上找到。一个典型的用例是使用替代的列或行分隔符,例如:csv_options => {"col_sep" => "\t" "row_sep" => "\r\n"} 表示使用 Windows 行尾的制表符分隔数据。

dir_mode编辑

  • 值类型为数字
  • 默认值为-1

要使用的目录访问模式。请注意,由于 jruby 中的错误,系统 umask 在 Linux 上被忽略:https://github.com/jruby/jruby/issues/3426 将其设置为 -1 将使用默认的操作系统值。示例:"dir_mode" => 0750

fields编辑

  • 这是一个必需的设置。
  • 值类型为数组
  • 此设置没有默认值。

应写入 CSV 文件的事件中的字段名称。字段按数组中的相同顺序写入 CSV。如果事件中不存在某个字段,则将写入一个空字符串。支持字段引用语法,例如:fields => ["field1", "[nested][field]"]

file_mode编辑

  • 值类型为数字
  • 默认值为-1

要使用的文件访问模式。请注意,由于 jruby 中的错误,系统 umask 在 Linux 上被忽略:https://github.com/jruby/jruby/issues/3426 将其设置为 -1 将使用默认的操作系统值。示例:"file_mode" => 0640

filename_failure编辑

  • 值类型为字符串
  • 默认值为"_filepath_failures"

如果生成的路径无效,事件将被保存到此文件和定义的路径中。

flush_interval编辑

  • 值类型为数字
  • 默认值为2

刷新写入日志文件的刷新间隔(以秒为单位)。0 将在每条消息后刷新。

gzip编辑

在写入磁盘之前对输出流进行 gzip 压缩。

path编辑

  • 这是一个必需的设置。
  • 值类型为字符串
  • 此设置没有默认值。

此输出将事件写入磁盘上的文件。您可以使用事件中的字段作为文件名和/或路径的一部分。

默认情况下,此输出以json格式每行写入一个事件。您可以使用line编解码器来自定义行格式,例如

output {
 file {
   path => ...
   codec => line { format => "custom format: %{message}"}
 }
}

要写入的文件的路径。事件字段可以在这里使用,例如/var/log/logstash/%{host}/%{application} 也可以利用 path 选项,通过 joda 时间格式进行基于日期的日志轮换。这将使用事件时间戳。例如:path => "./test-%{+YYYY-MM-dd}.txt" 将创建./test-2013-05-29.txt

如果使用绝对路径,则不能以动态字符串开头。例如:/%{myfield}//test-%{myfield}/ 不是有效的路径。

spreadsheet_safe编辑

选择不转义/修改字符串值。请注意,关闭此选项可能不会使您的电子表格应用程序中的值安全。

通用选项编辑

以下配置选项受所有输出插件支持

设置 输入类型 是否必需

codec

codec

enable_metric

布尔值

id

字符串

codec编辑

用于输出数据的编解码器。输出编解码器是一种方便的方法,可以在数据离开输出之前对其进行编码,而无需在 Logstash 管道中使用单独的过滤器。

enable_metric编辑

禁用或启用此特定插件实例的指标记录。默认情况下,我们会记录所有可以记录的指标,但您可以禁用特定插件的指标收集。

id编辑

  • 值类型为字符串
  • 此设置没有默认值。

向插件配置添加唯一的ID。如果没有指定 ID,Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,这将特别有用。例如,如果您有 2 个 csv 输出。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  csv {
    id => "my_plugin_id"
  }
}

id字段中的变量替换仅支持环境变量,不支持使用密钥库中的值。