S3 输出插件

当 restore 设置为 true 时，此插件将恢复并上传崩溃/异常终止后的临时日志文件。

这是一个 Logstash 配置示例

output {
   s3{
     access_key_id => "crazy_key"             (optional)
     secret_access_key => "monkey_access_key" (optional)
     region => "eu-west-1"                    (optional, default = "us-east-1")
     bucket => "your_bucket"                  (required)
     size_file => 2048                        (optional) - Bytes
     time_file => 5                           (optional) - Minutes
     codec => "plain"                         (optional)
     canned_acl => "private"                  (optional. Options are "private", "public-read", "public-read-write", "authenticated-read", "aws-exec-read", "bucket-owner-read", "bucket-owner-full-control", "log-delivery-write". Defaults to "private" )
   }

此插件使用 AWS SDK 并支持多种获取凭据的方式，将按以下顺序尝试：

用于参数化与 S3 连接的设置和对应值的键值对。完整的列表请参见 AWS SDK 文档。示例

    output {
      s3 {
        access_key_id => "1234",
        secret_access_key => "secret",
        region => "eu-west-1",
        bucket => "logstash-test",
        additional_settings => {
          "force_path_style" => true,
          "follow_redirects" => false
        }
      }
    }

包含 AWS 凭据哈希表的 YAML 文件路径。仅当未设置 access_key_id 和 secret_access_key 时才会加载此文件。文件内容应如下所示：

    :access_key_id: "12345"
    :secret_access_key: "54321"

S3 存储桶

放置文件时要使用的 S3 预设 ACL。默认为“private”。

指定内容编码。支持 (“gzip”)。默认为“none”。

要连接到的端点。默认情况下，它是使用 region 的值构建的。这在连接到与 S3 兼容的服务时非常有用，但请注意，这些服务不能保证与 AWS SDK 正确配合使用。端点应为 HTTP 或 HTTPS URL，例如 https://example.com

为上传的文件名指定前缀，以模拟 S3 上的目录。前缀不需要前导斜杠。此选项支持 Logstash 插值。例如，可以使用 prefix = "%{+YYYY}/%{+MM}/%{+dd}" 将文件名前缀设置为事件日期。

如果需要，代理服务器的 URI

AWS 区域

用于在崩溃/异常终止后启用恢复。临时日志文件将被恢复并上传。

允许限制 S3 上传失败时的重试次数。

上传失败后，在连续重试之间等待的延迟（以秒为单位）。

要承担的 AWS IAM 角色（如有）。这用于生成临时凭据，通常用于跨帐户访问。有关更多信息，请参见 AssumeRole API 文档。

承担 IAM 角色时要使用的会话名称。

控制何时关闭文件并将其推送到 S3。

如果将此值设置为 size，则使用 size_file 中设置的值。如果将此值设置为 time，则使用 time_file 中设置的值。如果将此值设置为 size_and_time，则使用 size_file 和 time_file 中的值，并在任一值匹配时拆分文件。

默认策略同时检查大小和时间。第一个匹配的值将触发文件轮转。

AWS密钥访问密钥

指定是否使用S3的服务器端加密。默认为不加密。

指定启用SSE时使用的加密类型。

用于临时凭证的AWS会话令牌

要使用的S3签名哈希版本。通常使用内部客户端默认值，可以在这里显式指定。

设置文件大小（以字节为单位）。当字节数超过size_file值时，将创建一个新文件。如果使用标签，Logstash将为每个标签生成特定大小的文件。

与server_side_encryption ⇒ aws:kms一起指定时使用的密钥。如果设置了server_side_encryption ⇒ aws:kms但未设置此密钥，则使用默认的KMS密钥。http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingKMSEncryption.html

指定上传文件时使用的S3存储类别。有关不同存储类别的更多信息，请访问：http://docs.aws.amazon.com/AmazonS3/latest/dev/storage-class-intro.html 默认为STANDARD。

设置Logstash在发送到S3之前存储临时文件的目录，默认为Linux系统中的临时目录/tmp/logstash。

设置关闭存储桶当前子时间段的时间（以分钟为单位）。如果rotation_strategy设置为time或size_and_time，则time_file不能设置为0。否则，插件将引发配置错误。

大于此数值的文件将使用S3分块上传API上传。

在上传之前，我们可以保存在本地队列中的项目数量。

指定要用于将文件上传到S3的工作程序数量。

使用AWS SDK附带的捆绑CA证书来验证SSL对等证书。对于默认证书不可用的情况（例如Windows），可以将其设置为true。

常见的用例是在根存储桶上定义权限，并允许Logstash完全访问权限以写入日志。在某些情况下，您需要对子文件夹具有更精细的权限。这允许您在启动时禁用检查。

用于输出数据的编解码器。输出编解码器是在数据离开输出之前对其进行编码的便捷方法，无需在Logstash管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但是您可以禁用特定插件的指标收集。

向插件配置添加唯一的ID。如果没有指定ID，Logstash将生成一个。强烈建议在配置中设置此ID。当您有两个或多个相同类型的插件时，这尤其有用。例如，如果您有两个s3输出。在这种情况下，添加一个命名ID将有助于在使用监控API监控Logstash时提供帮助。

output {
  s3 {
    id => "my_plugin_id"
  }
}