Csv 过滤器插件

定义是否应从标题列自动检测列名称。默认为 false。

为了使此选项正常工作，必须将 Logstash 管道工作线程设置为 1。

定义是否应自动生成列名称。默认为 true。如果设置为 false，则不会解析未指定标题的列。

定义列名称列表（按其在 CSV 中出现的顺序，就像标题行一样）。如果未配置 columns，或者未指定足够的列，则默认列名称为“column1”、“column2”等。如果数据中的列数多于此列列表中指定的列数，则额外列将自动编号：（例如，“user_defined_1”、“user_defined_2”、“column3”、“column4”等）。

定义要应用于列的一组数据类型转换。可能的转换包括整数、浮点数、日期、日期时间、布尔值

示例

    filter {
      csv {
        convert => {
          "column1" => "integer"
          "column2" => "boolean"
        }
      }
    }

控制此插件与 Elastic 通用架构 (ECS) 的兼容性。有关详细信息，请参阅 事件元数据和 Elastic 通用架构 (ECS)。

定义用于引用 CSV 字段的字符。如果未指定，则默认为双引号 "。可选。

定义列分隔符值。如果未指定，则默认为逗号 ,。如果要将制表符定义为分隔符，则需要将值设置为实际的制表符字符，而不是 \t。可选。

定义是否应跳过空列。默认为 false。如果设置为 true，则不会设置包含无值的列。

定义是否可以跳过空行。默认为 false。如果设置为 true，则包含无值的行将被标记为“_csvskippedemptyfield”。如果用户希望使用 if 条件语句取消事件，则可以引用此标记。

定义是否应跳过标题。默认为 false。如果设置为 true，则将跳过标题。假设标题不会在后续行中重复，因为这些行也将被跳过。如果设置了 skip_header 但未设置 autodetect_column_names，则应设置列，这将导致跳过与指定列值完全匹配的任何行。如果指定了 skip_header 和 autodetect_column_names，则不应指定列，在这种情况下，autodetect_column_names 将在后台从看到的第一个事件填充列设置，并且将跳过与自动检测到的内容匹配的任何后续值。

为了使此选项正常工作，必须将 Logstash 管道工作线程设置为 1。

source 字段值的 CSV 数据将扩展为数据结构。

定义放置数据的目标字段。默认为写入事件的根目录。

如果此过滤器成功，则将任何任意字段添加到此事件。字段名称可以是动态的，并包含使用 %{field} 的事件部分。

示例

    filter {
      csv {
        add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
      }
    }

    # You can also add multiple fields at once:
    filter {
      csv {
        add_field => {
          "foo_%{somefield}" => "Hello world, from %{host}"
          "new_field" => "new_static_value"
        }
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加字段 foo_hello（如果存在），其值为以上值，并且 %{host} 部分将替换为事件中的该值。第二个示例还将添加一个硬编码字段。

如果此过滤器成功，则将任意标记添加到事件。标记可以是动态的，并包含使用 %{field} 语法的事件部分。

示例

    filter {
      csv {
        add_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also add multiple tags at once:
    filter {
      csv {
        add_tag => [ "foo_%{somefield}", "taggedy_tag"]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将添加标记 foo_hello（当然，第二个示例将添加 taggedy_tag 标记）。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可能的指标，但您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，则 Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 csv 过滤器。在这种情况下，添加命名 ID 将有助于使用监控 API 监控 Logstash。

    filter {
      csv {
        id => "ABC"
      }
    }

定期调用过滤器刷新方法。可选。

如果此过滤器成功，则从此事件中删除任意字段。字段名称可以是动态的，并包含使用 %{field} 的事件部分 示例

    filter {
      csv {
        remove_field => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple fields at once:
    filter {
      csv {
        remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
      }
    }

如果事件具有字段 "somefield" == "hello"，则此过滤器在成功时将删除名称为 foo_hello 的字段（如果存在）。第二个示例将删除一个额外的非动态字段。

如果此过滤器成功，则从事件中删除任意标签。标签可以是动态的，并使用%{field}语法包含事件的部分。

示例

    filter {
      csv {
        remove_tag => [ "foo_%{somefield}" ]
      }
    }

    # You can also remove multiple tags at once:
    filter {
      csv {
        remove_tag => [ "foo_%{somefield}", "sad_unwanted_tag"]
      }
    }

如果事件具有字段"somefield" == "hello"，则此过滤器成功后，将删除标签foo_hello（如果存在）。第二个示例也将删除一个令人不快的、不需要的标签。