« Google BigQuery 输出插件 Google Cloud Pub/Sub 输出插件 »

› ›

Google Cloud Storage 输出插件

编辑

Google Cloud Storage 输出插件

编辑

插件版本：v4.5.0
发布日期：2024-09-16
变更日志

其他版本请参见版本化插件文档。

安装

编辑

对于默认情况下未捆绑的插件，可以通过运行 bin/logstash-plugin install logstash-output-google_cloud_storage 轻松安装。更多详情请参见使用插件。

获取帮助

编辑

如有任何关于插件的问题，请在 Discuss 论坛中发帖。如有错误或功能请求，请在 Github 中提交问题。如需查看 Elastic 支持的插件列表，请查阅 Elastic 支持矩阵。

描述

编辑

此插件用于将日志事件上传到 Google Cloud Storage (GCS)，根据配置设置中提供的日期模式滚动文件。事件写入本地文件，一旦文件关闭，此插件就会将其上传到已配置的存储桶。

有关 Google Cloud Storage 的更多信息，请访问：https://cloud.google.com/products/cloud-storage

要使用此插件，必须使用 Google 服务帐号。更多信息，请参考：https://developers.google.com/storage/docs/authentication#service_accounts

建议：根据您生成的日志数据量试验设置，以便上传程序能够跟上生成的日志。使用 gzip 输出可以减少上传日志文件时的网络流量，并降低存储成本。

用法

编辑

这是一个 Logstash 配置示例

output {
   google_cloud_storage {
     bucket => "my_bucket"                                     (required)
     json_key_file => "/path/to/privatekey.json"               (optional)
     temp_directory => "/tmp/logstash-gcs"                     (optional)
     log_file_prefix => "logstash_gcs"                         (optional)
     max_file_size_kbytes => 1024                              (optional)
     output_format => "plain"                                  (optional)
     date_pattern => "%Y-%m-%dT%H:00"                          (optional)
     flush_interval_secs => 2                                  (optional)
     gzip => false                                             (optional)
     gzip_content_encoding => false                            (optional)
     uploader_interval_secs => 60                              (optional)
     include_uuid => true                                      (optional)
     include_hostname => true                                  (optional)
   }
}

其他资源

编辑

改进待办事项列表

编辑

支持使用 Logstash 事件变量来确定文件名。
将 Google API 代码转换为插件 Mixin（例如 AwsConfig）。
没有恢复方法，因此如果 Logstash/插件崩溃，文件可能无法上传到 GCS。
允许用户配置文件名。
允许对较重的负载进行并行上传（如果 Ruby API 客户端公开，则加上连接配置）

Google_cloud_storage 输出配置选项

编辑

此插件支持以下配置选项以及稍后描述的常用选项。

设置	输入类型	必需
`bucket`	字符串	是
`date_pattern`	字符串	否
`flush_interval_secs`	数字	否
`gzip`	布尔值	否
`gzip_content_encoding`	布尔值	否
`include_hostname`	布尔值	否
`include_uuid`	布尔值	否
`json_key_file`	字符串	否
`key_password`	字符串	已弃用
`log_file_prefix`	字符串	否
`max_concurrent_uploads`	数字	否
`max_file_size_kbytes`	数字	否
`output_format`	字符串，其中之一为 `["json", "plain", nil]`	已弃用
`service_account`	字符串	已弃用
`temp_directory`	字符串	否
`uploader_interval_secs`	数字	否

另请参见常用选项，了解所有输出插件支持的选项列表。

`bucket`

编辑

这是必需的设置。
值类型为字符串
此设置没有默认值。

GCS 存储桶名称，不包含 "gs://" 或任何其他前缀。

`date_pattern`

编辑

值类型为字符串
默认值为 "%Y-%m-%dT%H:00"

日志文件的日期模式，默认为每小时一个文件。必须使用 Time.strftime 模式：www.ruby-doc.org/core-2.0/Time.html#method-i-strftime

`flush_interval_secs`

编辑

值类型为数字
默认值为 2

将写入内容刷新到日志文件的间隔（秒）。设置为 0 则表示每条消息都刷新一次。

`gzip`

编辑

值类型为布尔值
默认值为 false

将事件写入日志文件时启用 gzip 输出流，将 Content-Type 设置为 application/gzip 而不是 text/plain，并使用文件后缀 .log.gz 而不是 .log。

`gzip_content_encoding`

编辑

在 3.3.0 版本中添加。

值类型为布尔值
默认值为 false

将事件写入日志文件时启用 gzip 输出流，并将 Content-Encoding 设置为 gzip。这将以 gzip 格式上传文件，从而节省网络和存储成本，但从存储桶读取文件时会自动解压缩。

有关更多信息，请参阅 Cloud Storage 文档中关于元数据和转码的内容。

注意：不建议同时使用 gzip_content_encoding 和 gzip。这会对文件进行 *二次* 压缩，会增加机器的工作量，并使文件大小大于仅压缩一次。

`include_hostname`

编辑

在 3.1.0 版本中添加。

值类型为布尔值
默认值为 true

是否应在文件名中包含主机名？出于隐私原因，或者如果您运行多个 Logstash 实例并需要使用简单的通配符匹配创建的文件（例如，如果您想将文件导入 BigQuery），您可能需要关闭此选项。

`include_uuid`

编辑

在 3.1.0 版本中添加。

值类型为布尔值
默认值为 false

在文件名末尾添加 UUID。如果您运行多个 Logstash 实例，或者您预计会频繁重启节点，则可能需要启用此功能，以防止文件相互覆盖。

`json_key_file`

编辑

值类型为字符串
默认值为 nil

如果插件在 Compute Engine、Kubernetes Engine、App Engine 或 Cloud Functions 上运行，则可以使用应用默认凭据 (ADC)。

在 Google Cloud 之外，您需要通过 Web 界面或使用以下命令创建服务帐号 JSON 密钥文件：gcloud iam service-accounts keys create key.json --iam-account [email protected]

`key_password`

编辑

值类型为字符串
默认值为 "notasecret"

已弃用 此功能不再使用，此设置现在是 json_key_file 的一部分。

`log_file_prefix`

编辑

值类型为字符串
默认值为 "logstash_gcs"

日志文件前缀。日志文件将遵循以下格式：<prefix>_hostname_date<.part?>.log

`max_concurrent_uploads`

编辑

值类型为数字
默认值为 5

设置一次最多可并行上传到 Cloud Storage 的数量。上传是 I/O 绑定的，因此根据可用的网络带宽和服务器与 Cloud Storage 之间的延迟来调整此参数是有意义的。

`max_file_size_kbytes`

编辑

值类型为数字
默认值为 10000

设置最大文件大小（KB）。设置为 0 则禁用最大文件检查。

`output_format`

编辑

值可以是：json、plain 或无值
默认值为无值

已弃用，此功能将在下一个主要版本中删除。请改用编解码器。

如果您目前使用的是 json 值，请切换到 json_lines 编解码器。
如果您目前使用的是 plain 值，请切换到 line 编解码器。

您想要存储在文件中的事件格式。默认为纯文本。

注意：如果您想使用编解码器，则**必须**不设置此值。

`service_account`

编辑

这是必需的设置。
值类型为字符串
此设置没有默认值。

已弃用 此功能不再使用，此设置现在是 json_key_file 的一部分。

`temp_directory`

编辑

值类型为字符串
默认值为 ""

存储临时文件的目录。默认为 /tmp/logstash-gcs-<random-suffix>

`uploader_interval_secs`

编辑

值类型为数字
默认值为 60

将新文件上传到 GCS 的上传程序间隔。根据您的时间模式调整时间（例如，对于每小时一个文件，此间隔可以大约为一小时）。

常用选项

编辑

所有输出插件都支持这些配置选项

设置	输入类型	必需
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否

`codec`

编辑

值类型为编解码器
默认值为 "line"

用于输出数据的编解码器。输出编解码器是在数据离开输出之前对其进行编码的便捷方法，无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可用的指标，但您可以为特定插件禁用指标收集。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的ID。如果未指定ID，Logstash 将生成一个。强烈建议您在配置中设置此ID。当您拥有两种或更多相同类型的插件时，这尤其有用。例如，如果您有两个 google_cloud_storage 输出。在这种情况下，添加命名 ID 将有助于使用监控 API 监控 Logstash。

output {
  google_cloud_storage {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用密钥存储中的值。

« Google BigQuery 输出插件 Google Cloud Pub/Sub 输出插件 »