S3 输入插件

此插件使用 AWS SDK 并支持多种获取凭据的方式，这些方式将按以下顺序尝试

用于参数化与 s3 连接的设置和对应值的键值对。请参阅 AWS SDK 文档 中的完整列表。示例

    input {
      s3 {
        access_key_id => "1234"
        secret_access_key => "secret"
        bucket => "logstash-test"
        additional_settings => {
          force_path_style => true
          follow_redirects => false
        }
      }
    }

包含 AWS 凭据哈希的 YAML 文件的路径。仅当未设置 access_key_id 和 secret_access_key 时才会加载此文件。文件的內容应如下所示

    :access_key_id: "12345"
    :secret_access_key: "54321"

在处理后将前缀附加到键（包括 s3 中文件名在内的完整路径）。如果备份到另一个（或同一个）存储桶，这实际上允许您选择一个新的文件夹来放置文件

用于备份已处理文件的 S3 存储桶的名称。

用于备份已处理文件的本地目录的路径。

S3 存储桶的名称。

是否从原始存储桶中删除已处理的文件。

控制此插件与 Elastic Common Schema (ECS) 的兼容性。有关详细信息，请参阅 事件元数据和 Elastic Common Schema (ECS)。

要连接的端点。默认情况下，它使用 region 的值构建。这在连接到与 S3 兼容的服务时很有用，但请注意，这些服务不能保证与 AWS SDK 正确配合使用。

要从存储桶中排除的键的 Ruby 风格正则表达式。

请注意，匹配该模式的文件将在列出后被跳过。如果可能，请考虑使用 prefix。

示例

"exclude_pattern" => "\/2020\/04\/"

此模式将排除路径中包含“/2020/04/”的所有日志。

用于确定输入文件是否为 gzip 格式的正则表达式。

是否将 S3 对象的属性（last_modified、content_type、metadata）包含在 [@metadata][s3] 中的每个事件中。无论此设置如何，[@metadata][s3][key] 始终存在。

在运行结束后再次检查文件列表之间等待的间隔。值为秒。

如果指定，存储桶中文件名的前缀必须匹配（不是正则表达式）

如果需要，代理服务器的 URI

AWS 区域

要假设的 AWS IAM 角色（如果有）。这用于生成临时凭据，通常用于跨帐户访问。有关更多信息，请参阅 AssumeRole API 文档。

在假设 IAM 角色时要使用的会话名称。

AWS 密钥

AWS 会话令牌，用于临时凭据

写入 since 数据库的位置（跟踪上次处理的文件添加到 S3 的日期）。默认情况下，sincedb 文件将写入目录 {path.data}/plugins/inputs/s3/ 中。

如果指定，此设置必须是文件名路径，而不仅仅是目录。

设置 logstash 在处理文件之前存储临时文件的目录。

使用与 AWS SDK 一起提供的捆绑 CA 证书来验证 SSL 对等证书。对于默认证书不可用（例如 Windows）的情况，可以将其设置为 true。

是否监视新文件。禁用此选项会导致输入在处理完单个列表中的文件后关闭自身。

向事件添加字段

禁用或启用此特定插件实例的指标日志记录，默认情况下，我们会记录所有可能的指标，但您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 s3 输入。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  s3 {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的任意标签。

这可以帮助以后处理。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发件人发送事件到索引器时），那么新的输入将不会覆盖现有类型。在发件人处设置的类型会一直保留在该事件中，即使发送到另一个 Logstash 服务器也是如此。