S3 输出插件

当 restore 设置为 true 时，此插件将在崩溃/异常终止后恢复并上传临时日志文件

这是一个 logstash 配置示例

output {
   s3{
     access_key_id => "crazy_key"             (optional)
     secret_access_key => "monkey_access_key" (optional)
     region => "eu-west-1"                    (optional, default = "us-east-1")
     bucket => "your_bucket"                  (required)
     size_file => 2048                        (optional) - Bytes
     time_file => 5                           (optional) - Minutes
     codec => "plain"                         (optional)
     canned_acl => "private"                  (optional. Options are "private", "public-read", "public-read-write", "authenticated-read", "aws-exec-read", "bucket-owner-read", "bucket-owner-full-control", "log-delivery-write". Defaults to "private" )
   }

此插件使用 AWS SDK 并支持以下几种获取凭证的方式，将按以下顺序尝试这些方式

用于参数化与 S3 连接的设置和相应值的键值对。请参阅 AWS SDK 文档 中的完整列表。示例

    output {
      s3 {
        access_key_id => "1234",
        secret_access_key => "secret",
        region => "eu-west-1",
        bucket => "logstash-test",
        additional_settings => {
          "force_path_style" => true,
          "follow_redirects" => false
        }
      }
    }

包含 AWS 凭证哈希的 YAML 文件的路径。仅当未设置 access_key_id 和 secret_access_key 时，才会加载此文件。文件内容应如下所示

    :access_key_id: "12345"
    :secret_access_key: "54321"

S3 存储桶

放置文件时要使用的 S3 预设 ACL。默认为“private”。

指定内容编码。支持（“gzip”）。默认为“none”

要连接到的端点。默认情况下，它使用 region 的值构造。这在连接到与 S3 兼容的服务时很有用，但请注意，不能保证这些服务可以与 AWS SDK 正常工作。端点应为 HTTP 或 HTTPS URL，例如 https://example.com

为上传的文件名指定一个前缀，以模拟 S3 上的目录。前缀不需要前导斜杠。此选项支持 Logstash 插值。例如，可以使用 prefix = "%{+YYYY}/%{+MM}/%{+dd}" 为文件添加事件日期前缀。

如果需要，代理服务器的 URI

AWS 区域

用于在崩溃/异常终止后启用恢复。临时日志文件将被恢复并上传。

允许在 S3 上传失败时限制重试次数。

上传失败时，连续重试之间等待的延迟（以秒为单位）。

要承担的 AWS IAM 角色（如果有）。这用于生成临时凭证，通常用于跨账户访问。有关更多信息，请参阅AssumeRole API 文档。

承担 IAM 角色时使用的会话名称。

控制何时关闭文件并将其推送到 S3。

如果将此值设置为 size，则使用 size_file 中设置的值。如果将此值设置为 time，则使用 time_file 中设置的值。如果将此值设置为 size_and_time，则使用 size_file 和 time_file 中的值，并在其中任何一个匹配时拆分文件。

默认策略同时检查大小和时间。第一个匹配的值将触发文件轮换。

AWS 秘密访问密钥

指定是否使用 S3 的服务器端加密。默认为不加密。

指定启用 SSE 时使用的加密类型。

用于临时凭证的 AWS 会话令牌

要使用的 S3 签名哈希版本。通常使用内部客户端默认值，可以在此处明确指定

设置文件大小（以字节为单位）。当字节数超过 size_file 值时，将创建一个新文件。如果使用标签，Logstash 会为每个标签生成特定大小的文件。

与 server_side_encryption ⇒ aws:kms 一起指定时要使用的密钥。如果设置了 server_side_encryption ⇒ aws:kms 但未设置此项，则使用默认的 KMS 密钥。http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingKMSEncryption.html

指定上传文件时要使用的 S3 存储类。有关不同存储类的更多信息，请访问：http://docs.aws.amazon.com/AmazonS3/latest/dev/storage-class-intro.html 默认为 STANDARD。

设置 logstash 在将临时文件发送到 S3 之前存储它们的目录，默认为 Linux 中当前操作系统的临时目录 /tmp/logstash

设置关闭存储桶当前 sub_time_section 的时间（以分钟为单位）。如果 rotation_strategy 设置为 time 或 size_and_time，则 time_file 不能设置为 0。否则，插件会引发配置错误。

大于此数字的文件将使用 S3 多部分 API 上传

在上传文件之前，我们可以在本地队列中保留的项目数

指定使用多少个工作线程将文件上传到 S3

使用 AWS SDK 附带的捆绑 CA 证书来验证 SSL 对等证书。对于默认证书不可用的情况（例如 Windows），可以将其设置为 true。

常见的用例是在根存储桶上定义权限，并授予 Logstash 对写入日志的完全访问权限。在某些情况下，您需要对子文件夹进行更精细的权限控制。这允许您在启动时禁用检查。

为该特定插件实例禁用或启用指标日志记录。默认情况下，我们会记录所有可以记录的指标，但您可以为特定插件禁用指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用。例如，如果您有两个 s3 输出。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  s3 {
    id => "my_plugin_id"
  }
}