- Logstash 参考文档其他版本
- Logstash 简介
- Logstash 入门
- Logstash 的工作原理
- 设置和运行 Logstash
- 升级 Logstash
- 创建 Logstash 管道
- 保护您的连接
- 高级 Logstash 配置
- Logstash 到 Logstash 通信
- 管理 Logstash
- 将 Logstash 与 Elastic Integrations 一起使用
- 使用 Logstash 模块
- 使用 Filebeat 模块
- 使用 Winlogbeat 模块
- 队列和数据弹性
- 转换数据
- 部署和扩展 Logstash
- 管理 GeoIP 数据库
- 性能调优
- 使用 Elastic Agent 监控 Logstash
- 监控 Logstash(旧版)
- 使用 API 监控 Logstash
- 使用插件
- 集成插件
- 输入插件
- azure_event_hubs
- beats
- cloudwatch
- couchdb_changes
- dead_letter_queue
- elastic_agent
- elastic_serverless_forwarder
- elasticsearch
- exec
- file
- ganglia
- gelf
- generator
- github
- google_cloud_storage
- google_pubsub
- graphite
- heartbeat
- http
- http_poller
- imap
- irc
- java_generator
- java_stdin
- jdbc
- jms
- jmx
- kafka
- kinesis
- logstash
- log4j
- lumberjack
- meetup
- pipe
- puppet_facter
- rabbitmq
- redis
- relp
- rss
- s3
- s3-sns-sqs
- salesforce
- snmp
- snmptrap
- sqlite
- sqs
- stdin
- stomp
- syslog
- tcp
- udp
- unix
- varnishlog
- websocket
- wmi
- xmpp
- 输出插件
- boundary
- circonus
- cloudwatch
- csv
- datadog
- datadog_metrics
- dynatrace
- elastic_app_search
- elastic_workplace_search
- elasticsearch
- exec
- file
- ganglia
- gelf
- google_bigquery
- google_cloud_storage
- google_pubsub
- graphite
- graphtastic
- http
- influxdb
- irc
- java_stdout
- juggernaut
- kafka
- librato
- logstash
- loggly
- lumberjack
- metriccatcher
- mongodb
- nagios
- nagios_nsca
- opentsdb
- pagerduty
- pipe
- rabbitmq
- redis
- redmine
- riak
- riemann
- s3
- sink
- sns
- solr_http
- sqs
- statsd
- stdout
- stomp
- syslog
- tcp
- timber
- udp
- webhdfs
- websocket
- xmpp
- zabbix
- 过滤器插件
- age
- aggregate
- alter
- bytes
- cidr
- cipher
- clone
- csv
- date
- de_dot
- dissect
- dns
- drop
- elapsed
- elastic_integration
- elasticsearch
- environment
- extractnumbers
- fingerprint
- geoip
- grok
- http
- i18n
- java_uuid
- jdbc_static
- jdbc_streaming
- json
- json_encode
- kv
- memcached
- metricize
- metrics
- mutate
- prune
- range
- ruby
- sleep
- split
- syslog_pri
- threats_classifier
- throttle
- tld
- translate
- truncate
- urldecode
- useragent
- uuid
- wurfl_device_detection
- xml
- 编解码器插件
- 技巧和最佳实践
- 故障排除
- 为 Logstash 做贡献
- 贡献 Java 插件
- 重大变更
- 发行说明
- Logstash 8.17.0 发行说明
- Logstash 8.16.1 发行说明
- Logstash 8.16.0 发行说明
- Logstash 8.15.4 发行说明
- Logstash 8.15.3 发行说明
- Logstash 8.15.2 发行说明
- Logstash 8.15.1 发行说明
- Logstash 8.15.0 发行说明
- Logstash 8.14.3 发行说明
- Logstash 8.14.2 发行说明
- Logstash 8.14.1 发行说明
- Logstash 8.14.0 发行说明
- Logstash 8.13.4 发行说明
- Logstash 8.13.3 发行说明
- Logstash 8.13.2 发行说明
- Logstash 8.13.1 发行说明
- Logstash 8.13.0 发行说明
- Logstash 8.12.2 发行说明
- Logstash 8.12.1 发行说明
- Logstash 8.12.0 发行说明
- Logstash 8.11.4 发行说明
- Logstash 8.11.3 发行说明
- Logstash 8.11.2 发行说明
- Logstash 8.11.1 发行说明
- Logstash 8.11.0 发行说明
- Logstash 8.10.4 发行说明
- Logstash 8.10.3 发行说明
- Logstash 8.10.2 发行说明
- Logstash 8.10.1 发行说明
- Logstash 8.10.0 发行说明
- Logstash 8.9.2 发行说明
- Logstash 8.9.1 发行说明
- Logstash 8.9.0 发行说明
- Logstash 8.8.2 发行说明
- Logstash 8.8.1 发行说明
- Logstash 8.8.0 发行说明
- Logstash 8.7.1 发行说明
- Logstash 8.7.0 发行说明
- Logstash 8.6.2 发行说明
- Logstash 8.6.1 发行说明
- Logstash 8.6.0 发行说明
- Logstash 8.5.3 发行说明
- Logstash 8.5.2 发行说明
- Logstash 8.5.1 发行说明
- Logstash 8.5.0 发行说明
- Logstash 8.4.2 发行说明
- Logstash 8.4.1 发行说明
- Logstash 8.4.0 发行说明
- Logstash 8.3.3 发行说明
- Logstash 8.3.2 发行说明
- Logstash 8.3.1 发行说明
- Logstash 8.3.0 发行说明
- Logstash 8.2.3 发行说明
- Logstash 8.2.2 发行说明
- Logstash 8.2.1 发行说明
- Logstash 8.2.0 发行说明
- Logstash 8.1.3 发行说明
- Logstash 8.1.2 发行说明
- Logstash 8.1.1 发行说明
- Logstash 8.1.0 发行说明
- Logstash 8.0.1 发行说明
- Logstash 8.0.0 发行说明
- Logstash 8.0.0-rc2 发行说明
- Logstash 8.0.0-rc1 发行说明
- Logstash 8.0.0-beta1 发行说明
- Logstash 8.0.0-alpha2 发行说明
- Logstash 8.0.0-alpha1 发行说明
Google Cloud Storage 输出插件
编辑Google Cloud Storage 输出插件
编辑- 插件版本:v4.5.0
- 发布日期:2024-09-16
- 变更日志
有关其他版本,请参阅版本化插件文档。
安装
编辑对于默认未捆绑的插件,可以通过运行 bin/logstash-plugin install logstash-output-google_cloud_storage
轻松安装。有关更多详细信息,请参阅使用插件。
获取帮助
编辑有关插件的问题,请在讨论论坛中开一个主题。对于错误或功能请求,请在Github中开一个 issue。有关 Elastic 支持的插件列表,请查阅Elastic 支持矩阵。
描述
编辑一个将日志事件上传到 Google Cloud Storage (GCS) 的插件,它会根据配置设置中提供的日期模式滚动文件。事件被写入本地文件,一旦文件关闭,此插件会将其上传到配置的存储桶。
有关 Google Cloud Storage 的更多信息,请访问:https://cloud.google.com/products/cloud-storage
为了使用此插件,必须使用 Google 服务帐户。有关更多信息,请参阅:https://developers.google.com/storage/docs/authentication#service_accounts
建议:根据您生成的日志数据量尝试设置,以便上传器可以跟上生成的日志。使用 gzip 输出可以很好地减少上传日志文件时的网络流量,并且可以降低存储成本。
用法
编辑这是一个 logstash 配置的示例
output { google_cloud_storage { bucket => "my_bucket" (required) json_key_file => "/path/to/privatekey.json" (optional) temp_directory => "/tmp/logstash-gcs" (optional) log_file_prefix => "logstash_gcs" (optional) max_file_size_kbytes => 1024 (optional) output_format => "plain" (optional) date_pattern => "%Y-%m-%dT%H:00" (optional) flush_interval_secs => 2 (optional) gzip => false (optional) gzip_content_encoding => false (optional) uploader_interval_secs => 60 (optional) include_uuid => true (optional) include_hostname => true (optional) } }
改进待办事项列表
编辑- 支持 logstash 事件变量以确定文件名。
- 将 Google API 代码转换为插件 Mixin(如 AwsConfig)。
- 没有恢复方法,因此如果 logstash/插件崩溃,文件可能不会上传到 GCS。
- 允许用户配置文件名。
- 允许并行上传以应对更大的负载(+如果 Ruby API 客户端公开,则允许连接配置)
Google_cloud_storage 输出配置选项
编辑此插件支持以下配置选项,以及稍后描述的通用选项。
设置 | 输入类型 | 必需 |
---|---|---|
是 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
||
已弃用 |
||
否 |
||
否 |
||
否 |
||
string,可以是 |
已弃用 |
|
已弃用 |
||
否 |
||
否 |
另请参阅通用选项,了解所有输出插件支持的选项列表。
date_pattern
编辑- 值类型是string
- 默认值是
"%Y-%m-%dT%H:00"
日志文件的时间模式,默认为每小时文件。必须是 Time.strftime 模式:www.ruby-doc.org/core-2.0/Time.html#method-i-strftime
gzip
编辑- 值类型是boolean
- 默认值是
false
将事件写入日志文件时压缩输出流,将 Content-Type
设置为 application/gzip
而不是 text/plain
,并使用文件后缀 .log.gz
而不是 .log
。
gzip_content_encoding
编辑在 3.3.0 中添加。
- 值类型是boolean
- 默认值是
false
将事件写入日志文件时压缩输出流并将 Content-Encoding
设置为 gzip
。这将以 gzip
格式上传您的文件,从而节省网络和存储成本,但是当您从存储桶中读取它们时,它们将以透明的方式解压缩。
有关更多信息,请参阅 Cloud Storage 文档中的元数据和转码。
注意:不建议同时使用 gzip_content_encoding
和 gzip
。这会两次压缩您的文件,这将增加您机器的工作量,并使文件比仅压缩一次更大。
include_hostname
编辑在 3.1.0 中添加。
- 值类型是boolean
- 默认值是
true
文件名中是否应包含主机名?您可能出于隐私原因或如果您运行 Logstash 的多个实例并且需要将您创建的文件与简单的 glob 匹配(例如,如果您想将文件导入 BigQuery)而关闭此功能。
include_uuid
编辑在 3.1.0 中添加。
- 值类型是boolean
- 默认值是
false
将 UUID 添加到文件名的末尾。如果运行 Logstash 的多个实例,或者您预期节点频繁重启,则可能需要启用此功能,以使文件不会相互覆盖。
json_key_file
编辑- 值类型是string
- 默认值是
nil
如果插件在 Compute Engine、Kubernetes Engine、App Engine 或 Cloud Functions 上运行,则可以使用应用程序默认凭据 (ADC)。
在 Google Cloud 之外,您需要通过 Web 界面或使用以下命令创建一个服务帐户 JSON 密钥文件:gcloud iam service-accounts keys create key.json --iam-account my-sa-123@my-project-123.iam.gserviceaccount.com
max_concurrent_uploads
编辑- 值类型是number
- 默认值是
5
设置同时上传到 Cloud Storage 的最大并发数。上传是 I/O 绑定的,因此根据可用的网络带宽以及您的服务器与 Cloud Storage 之间的延迟来调整此参数是有意义的。
output_format
编辑- 值可以是:
json
、plain
或无值 - 默认值是无值
已弃用,此功能将在下一个主要版本中删除。请改用编解码器。
- 如果您今天正在使用
json
值,请切换到json_lines
编解码器。 - 如果您今天正在使用
plain
值,请切换到line
编解码器。
您要存储在文件中的事件格式。默认为纯文本。
注意:如果您想使用编解码器,则一定不能设置此值。
通用选项
编辑所有输出插件都支持这些配置选项
On this page
- 安装
- 获取帮助
- 描述
- 用法
- 其他资源
- 改进待办事项列表
- Google_cloud_storage 输出配置选项
bucket
date_pattern
flush_interval_secs
gzip
gzip_content_encoding
include_hostname
include_uuid
json_key_file
key_password
log_file_prefix
max_concurrent_uploads
max_file_size_kbytes
output_format
service_account
temp_directory
uploader_interval_secs
- 通用选项
codec
enable_metric
id