ECS 已禁用	ECS v1	可用性	描述
cloudfront_fields	[@metadata][s3][cloudfront][fields]	当文件是 CloudFront 日志时可用	日志的列名
cloudfront_version	[@metadata][s3][cloudfront][version]	当文件是 CloudFront 日志时可用	日志的版本

S3 输入配置选项

编辑

此插件支持以下配置选项以及稍后描述的常用选项。

设置	输入类型	必需
`access_key_id`	字符串	否
`additional_settings`	哈希表	否
`aws_credentials_file`	字符串	否
`backup_add_prefix`	字符串	否
`backup_to_bucket`	字符串	否
`backup_to_dir`	字符串	否
`bucket`	字符串	是
`delete`	布尔值	否
`ecs_compatibility`	字符串	否
`endpoint`	字符串	否
`exclude_pattern`	字符串	否
`gzip_pattern`	字符串	否
`include_object_properties`	布尔值	否
`interval`	数字	否
`prefix`	字符串	否
`proxy_uri`	字符串	否
`region`	字符串	否
`role_arn`	字符串	否
`role_session_name`	字符串	否
`secret_access_key`	字符串	否
`session_token`	字符串	否
`sincedb_path`	字符串	否
`temporary_directory`	字符串	否
`use_aws_bundled_ca`	布尔值	否
`watch_for_new_files`	布尔值	否

另请参阅常用选项，了解所有输入插件支持的选项列表。

`access_key_id`

编辑

值类型为字符串
此设置没有默认值。

此插件使用 AWS SDK 并支持多种获取凭据的方式，将按以下顺序尝试：

静态配置，使用 logstash 插件配置中的 access_key_id 和 secret_access_key 参数
由 aws_credentials_file 指定的外部凭据文件
环境变量 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY
环境变量 AMAZON_ACCESS_KEY_ID 和 AMAZON_SECRET_ACCESS_KEY
IAM 实例配置文件（在 EC2 中运行时可用）

`additional_settings`

编辑

值类型为哈希表
默认值为 {}

用于参数化与 s3 连接的设置和相应值的键值对。请参阅 AWS SDK 文档中的完整列表。示例

    input {
      s3 {
        access_key_id => "1234"
        secret_access_key => "secret"
        bucket => "logstash-test"
        additional_settings => {
          force_path_style => true
          follow_redirects => false
        }
      }
    }

`aws_credentials_file`

编辑

值类型为字符串
此设置没有默认值。

包含 AWS 凭据哈希表的 YAML 文件的路径。只有在未设置 access_key_id 和 secret_access_key 时才会加载此文件。文件内容应如下所示：

    :access_key_id: "12345"
    :secret_access_key: "54321"

`backup_add_prefix`

编辑

值类型为字符串
默认值为 nil

在处理后，将前缀附加到密钥（包括 s3 中的文件名的完整路径）。如果备份到另一个（或相同的）存储桶，这实际上允许您选择一个新的文件夹来放置文件。

`backup_to_bucket`

编辑

值类型为字符串
默认值为 nil

要将已处理文件备份到的 S3 存储桶的名称。

`backup_to_dir`

编辑

值类型为字符串
默认值为 nil

要将已处理文件备份到的本地目录的路径。

`bucket`

编辑

这是必需的设置。
值类型为字符串
此设置没有默认值。

S3 存储桶的名称。

`delete`

编辑

值类型为布尔值
默认值为 false

是否从原始存储桶中删除已处理的文件。

`ecs_compatibility`

编辑

值类型为字符串
支持的值为：
- disabled：不使用与 ECS 兼容的字段名称
- v1,v8：使用与 Elastic 通用架构兼容的元数据字段

控制此插件与 Elastic 通用架构 (ECS) 的兼容性。有关详细信息，请参阅事件元数据和 Elastic 通用架构 (ECS)。

`endpoint`

编辑

值类型为字符串
此设置没有默认值。

要连接到的端点。默认情况下，它是使用 region 的值构建的。这在连接到与 S3 兼容的服务时很有用，但请注意，这些服务不能保证与 AWS SDK 正确配合使用。

`exclude_pattern`

编辑

值类型为字符串
默认值为 nil

要从存储桶中排除的密钥的 Ruby 风格正则表达式。

请注意，匹配该模式的文件将在列出 *之后* 被跳过。如果可能，请考虑使用 prefix。

示例

"exclude_pattern" => "\/2020\/04\/"

此模式将排除路径中包含“/2020/04/”的所有日志。

`gzip_pattern`

编辑

值类型为字符串
默认值为 "\.gz(ip)?$"

用于确定输入文件是否为 gzip 格式的正则表达式。

`include_object_properties`

编辑

值类型为布尔值
默认值为 false

是否将 S3 对象的属性 (last_modified、content_type、metadata) 包含到 [@metadata][s3] 中的每个事件中。无论此设置如何，[@metadata][s3][key] 将始终存在。

`interval`

编辑

值类型为数字
默认值为 60

在运行结束后再次检查文件列表之前要等待的间隔。值为秒。

`prefix`

编辑

值类型为字符串
默认值为 nil

如果指定，则存储桶中文件名的前缀必须匹配（不是正则表达式）。

`proxy_uri`

编辑

值类型为字符串
此设置没有默认值。

如果需要，代理服务器的 URI。

`region`

编辑

值类型为字符串
默认值为 "us-east-1"

AWS 区域。

`role_arn`

编辑

值类型为字符串
此设置没有默认值。

要承担的 AWS IAM 角色（如有）。这用于生成临时凭据，通常用于跨账户访问。有关更多信息，请参阅 AssumeRole API 文档。

`role_session_name`

编辑

值类型为字符串
默认值为 "logstash"

承担 IAM 角色时要使用的会话名称。

`secret_access_key`

编辑

值类型为字符串
此设置没有默认值。

AWS 密钥访问密钥。

`session_token`

编辑

值类型为字符串
此设置没有默认值。

临时凭据的 AWS 会话令牌。

`sincedb_path`

编辑

值类型为字符串
默认值为 nil

写入 since 数据库的位置（跟踪上次处理的文件添加到 S3 的日期）。默认情况下，会在 _ {path.data}/plugins/inputs/s3/_ 目录中写入 sincedb 文件。

如果指定，此设置必须是文件名路径，而不仅仅是目录。

`temporary_directory`

编辑

值类型为字符串
默认值为 "/tmp/logstash"

设置 logstash 在处理文件之前存储临时文件的目录。

`use_aws_bundled_ca`

编辑

值类型为布尔值
默认值为 false

使用与 AWS SDK 一起提供的捆绑 CA 证书来验证 SSL 对等证书。对于默认证书不可用的情况（例如 Windows），您可以将其设置为 true。

`watch_for_new_files`

编辑

值类型为布尔值
默认值为 true

是否监视新文件。禁用此选项会导致输入在处理单个列表中的文件后自行关闭。

常用选项

编辑

所有输入插件都支持这些配置选项。

设置	输入类型	必需
`add_field`	哈希表	否
`编解码器`	编解码器	否
`启用指标`	布尔值	否
`ID`	字符串	否
`标签`	数组	否
`类型`	字符串	否

`add_field`

编辑

值类型为哈希表
默认值为 {}

向事件添加字段

`codec`

编辑

值类型为编解码器
默认值为 "plain"

用于输入数据的编解码器。输入编解码器是在数据进入输入之前对其进行解码的便捷方法，无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可能的指标，但您可以禁用特定插件的指标收集。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 s3 输入。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  s3 {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用密钥存储中的值。

`tags`

编辑

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的标签。

这可以帮助以后的处理。

`type`

编辑

值类型为字符串
此设置没有默认值。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您将事件从发送程序发送到索引程序时），则新的输入不会覆盖现有类型。即使发送到另一个 Logstash 服务器，在发送程序中设置的类型也会一直保留在该事件中。

« Rss 输入插件通过 SNS/SQS 的 S3 插件 »