S3 输出插件

当使用设置为 true 的 restore 时，此插件将在崩溃/异常终止后恢复并上传临时日志文件

这是 Logstash 配置的示例

output {
   s3{
     access_key_id => "crazy_key"             (optional)
     secret_access_key => "monkey_access_key" (optional)
     region => "eu-west-1"                    (optional, default = "us-east-1")
     bucket => "your_bucket"                  (required)
     size_file => 2048                        (optional) - Bytes
     time_file => 5                           (optional) - Minutes
     codec => "plain"                         (optional)
     canned_acl => "private"                  (optional. Options are "private", "public-read", "public-read-write", "authenticated-read", "aws-exec-read", "bucket-owner-read", "bucket-owner-full-control", "log-delivery-write". Defaults to "private" )
   }

此插件使用 AWS SDK 并支持多种获取凭证的方式，将按此顺序尝试

用于参数化与 S3 的连接的设置和对应值的键值对。请参阅AWS SDK 文档中的完整列表。示例

    output {
      s3 {
        access_key_id => "1234",
        secret_access_key => "secret",
        region => "eu-west-1",
        bucket => "logstash-test",
        additional_settings => {
          "force_path_style" => true,
          "follow_redirects" => false
        }
      }
    }

包含 AWS 凭证哈希的 YAML 文件的路径。仅当未设置 access_key_id 和 secret_access_key 时才会加载此文件。文件内容应如下所示

    :access_key_id: "12345"
    :secret_access_key: "54321"

S3 存储桶

放置文件时要使用的 S3 预设 ACL。默认为 "private"。

指定内容编码。支持 ("gzip")。默认为 "none"

要连接的端点。默认情况下，它是使用 region 的值构造的。这在连接到 S3 兼容服务时很有用，但请注意，这些服务不能保证与 AWS SDK 正确工作。端点应为 HTTP 或 HTTPS URL，例如 https://example.com

指定上传文件名的前缀，以模拟 S3 上的目录。前缀不需要前导斜杠。此选项支持Logstash 插值。例如，可以使用 prefix = "%{+YYYY}/%{+MM}/%{+dd}" 将事件日期作为文件名的前缀。

如果需要，指向代理服务器的 URI

AWS 区域

用于在崩溃/异常终止后启用恢复。将恢复并上传临时日志文件。

允许限制 S3 上传失败时的重试次数。

上传失败时，在连续重试之间等待的延迟（以秒为单位）。

要承担的 AWS IAM 角色（如果有）。这用于生成临时凭证，通常用于跨账户访问。有关更多信息，请参阅AssumeRole API 文档。

承担 IAM 角色时要使用的会话名称。

控制何时关闭文件并将其推送到 S3。

如果将此值设置为 size，它将使用在 size_file 中设置的值。如果将此值设置为 time，它将使用在 time_file 中设置的值。如果将此值设置为 size_and_time，它将使用 size_file 和 time_file 中的值，并在其中一个匹配时拆分文件。

默认策略同时检查大小和时间。第一个匹配的值会触发文件轮换。

AWS 私有访问密钥

指定是否使用 S3 的服务器端加密。默认不加密。

指定启用 SSE 时要使用的加密类型。

临时凭证的 AWS 会话令牌

要使用的 S3 签名哈希的版本。通常使用内部客户端默认值，可以在此处显式指定

以字节为单位设置文件大小。当字节数超过 size_file 值时，将创建一个新文件。如果使用标签，Logstash 将为每个标签生成特定大小的文件。

当与 server_side_encryption ⇒ aws:kms 一起指定时使用的密钥。如果设置了 server_side_encryption ⇒ aws:kms，但没有设置此项，则使用默认的 KMS 密钥。 http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingKMSEncryption.html

指定上传文件时要使用的 S3 存储类别。有关不同存储类别的更多信息，请访问：http://docs.aws.amazon.com/AmazonS3/latest/dev/storage-class-intro.html 默认为 STANDARD。

设置 Logstash 在将临时文件发送到 S3 之前存储临时文件的目录，默认为 Linux 系统中的当前操作系统临时目录 /tmp/logstash

设置关闭当前存储桶的子时间段的时间（以分钟为单位）。如果 rotation_strategy 设置为 time 或 size_and_time，则 time_file 不能设置为 0。否则，插件会引发配置错误。

大于此数字的文件将使用 S3 多部分 API 上传

在上传之前，我们可以在本地队列中保留的项目数

指定用于将文件上传到 S3 的工作线程数

使用 AWS SDK 附带的捆绑 CA 证书来验证 SSL 对等证书。在默认证书不可用的情况下（例如 Windows），您可以将其设置为 true。

常见的用例是在根存储桶上定义权限，并授予 Logstash 完全的日志写入访问权限。在某些情况下，您需要在子文件夹上设置更精细的权限。这允许您在启动时禁用检查。

用于输出数据的编解码器。输出编解码器是一种方便的方法，用于在数据离开输出之前对其进行编码，而无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标记录。默认情况下，我们会记录所有可用的指标，但您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用。例如，如果您有 2 个 s3 输出。在这种情况下添加命名的 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  s3 {
    id => "my_plugin_id"
  }
}