Csv 输出插件

编辑
  • 插件版本:v3.0.10
  • 发布日期:2023-12-19
  • 更新日志

其他版本请参见 版本化插件文档

获取帮助

编辑

如有关于插件的问题,请在 Discuss 论坛中发帖。如发现错误或有功能请求,请在 Github 中提交问题。有关 Elastic 支持的插件列表,请查阅 Elastic 支持矩阵

描述

编辑

CSV 输出。

将事件以 CSV 或其他分隔格式写入磁盘 基于文件输出,许多配置值是共享的 在内部使用 Ruby csv 库

Csv 输出配置选项

编辑

此插件支持以下配置选项以及稍后描述的 常用选项

另请参见 常用选项,了解所有输出插件支持的选项列表。

 

create_if_deleted

编辑

如果配置的文件被删除,但插件处理了一个事件,则插件会重新创建该文件。默认 ⇒ true

csv_options

编辑

CSV 输出的选项。这将直接传递给 Ruby stdlib to_csv 函数。完整文档可在 Ruby CSV 文档页面 上找到。一个典型的用例是使用备用列或行分隔符,例如:csv_options => {"col_sep" => "\t" "row_sep" => "\r\n"} 提供制表符分隔的数据,并使用 Windows 换行符

dir_mode

编辑
  • 值类型为 数字
  • 默认值为 -1

要使用的目录访问模式。请注意,由于 jruby 中的错误,系统 umask 在 Linux 上会被忽略:https://github.com/jruby/jruby/issues/3426 将其设置为 -1 使用默认的操作系统值。示例:"dir_mode" => 0750

fields

编辑
  • 此设置是必需的。
  • 值类型为 数组
  • 此设置没有默认值。

事件中应写入 CSV 文件的字段名称。字段按数组中的顺序写入 CSV。如果事件中不存在字段,则会写入空字符串。支持字段引用语法,例如:fields => ["field1", "[nested][field]"]

file_mode

编辑
  • 值类型为 数字
  • 默认值为 -1

要使用的文件访问模式。请注意,由于 jruby 中的错误,系统 umask 在 Linux 上会被忽略:https://github.com/jruby/jruby/issues/3426 将其设置为 -1 使用默认的操作系统值。示例:"file_mode" => 0640

filename_failure

编辑
  • 值类型为 字符串
  • 默认值为 "_filepath_failures"

如果生成的路径无效,则事件将保存到此文件以及定义的路径中。

flush_interval

编辑
  • 值类型为 数字
  • 默认值为 2

刷新写入日志文件的时间间隔(以秒为单位)。0 表示每条消息刷新一次。

gzip

编辑

在写入磁盘之前压缩输出流。

path

编辑
  • 此设置是必需的。
  • 值类型为 字符串
  • 此设置没有默认值。

此输出将事件写入磁盘上的文件。您可以使用事件中的字段作为文件名和/或路径的一部分。

默认情况下,此输出在 json 格式中每行写入一个事件。您可以使用 line 编解码器自定义行格式,例如

output {
 file {
   path => ...
   codec => line { format => "custom format: %{message}"}
 }
}

要写入的文件的路径。此处可以使用事件字段,例如 /var/log/logstash/%{host}/%{application} 还可以通过 joda 时间格式利用 path 选项进行基于日期的日志轮换。这将使用事件时间戳。例如:path => "./test-%{+YYYY-MM-dd}.txt" 创建 ./test-2013-05-29.txt

如果使用绝对路径,则不能以动态字符串开头。例如:/%{myfield}//test-%{myfield}/ 不是有效的路径

spreadsheet_safe

编辑

选择不转义/修改字符串值。请注意,禁用此选项可能不会使您的电子表格应用程序中的值安全

常用选项

编辑

所有输出插件都支持这些配置选项

设置 输入类型 必填

codec

codec

enable_metric

布尔值

id

字符串

codec

编辑

用于输出数据的编解码器。输出编解码器是在数据离开输出之前对其进行编码的便捷方法,而无需在 Logstash 管道中使用单独的过滤器。

enable_metric

编辑

禁用或启用此特定插件实例的指标日志记录。默认情况下,我们会记录所有可能的指标,但您可以禁用特定插件的指标收集。

  • 值类型为 字符串
  • 此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID,Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时,这一点尤其有用。例如,如果您有 2 个 csv 输出。在这种情况下,添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  csv {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量,不支持使用密钥存储中的值。