Google Cloud Pub/Sub 输出插件
编辑Google Cloud Pub/Sub 输出插件
编辑- 插件版本：v1.2.0
- 发布日期：2023-08-22
- 更新日志
其他版本，请参见 版本化插件文档.
安装
编辑对于默认情况下未捆绑的插件，可以通过运行 bin/logstash-plugin install logstash-output-google_pubsub 轻松安装。更多详情，请参见 使用插件。
获取帮助
编辑如有关于插件的问题，请在 Discuss 论坛中发起主题。如遇错误或有功能请求，请在 Github 中提交问题。如需查看 Elastic 支持的插件列表，请查阅 Elastic 支持矩阵。
描述
编辑一个 Logstash 插件，用于将日志事件上传到 Google Cloud Pub/Sub。为了提高效率，事件会批量处理并在后台上传。消息有效负载是事件的序列化 JSON 表示。
用例示例
- 通过 Pub/Sub 将事件流传输到 Dataproc 以进行实时分析。
- 将本地数据中心的事件转发到云中的 Logstash。
- 使用 Pub/Sub 作为可扩展缓冲区，以平衡处理步骤之间的事件流。
注意：虽然 Google 部分维护此项目，但这并非 Google 官方产品。
配置示例
编辑基本配置
编辑一个仅包含项目、主题和 JSON 密钥文件的基本配置
output {
google_pubsub {
# Required attributes
project_id => "my_project"
topic => "my_topic"
# Optional if you're using app default credentials
json_key_file => "service_account_key.json"
}
}
高负载
编辑如果您发现上传速度太慢，可以增加消息批量处理大小。
output {
google_pubsub {
project_id => "my_project"
topic => "my_topic"
json_key_file => "service_account_key.json"
# Options for configuring the upload
message_count_threshold => 1000
delay_threshold_secs => 10
request_byte_threshold => 5000000
}
}
属性
编辑您可以为每个请求附加其他属性。例如，您可以将数据中心标签附加到日志消息以帮助调试。
output {
google_pubsub {
project_id => "my_project"
topic => "my_topic"
json_key_file => "service_account_key.json"
attributes => {"origin" => "pacific-datacenter"}
}
}
不同的编解码器
编辑您可以使用编解码器与该插件一起更改事件的主体。
output {
google_pubsub {
project_id => "my_project"
topic => "my_topic"
json_key_file => "service_account_key.json"
codec => plain {format => "%{[time]}: %{[message]}"}
}
}
Google Cloud Pub/Sub 输出配置选项
编辑此插件支持以下配置选项以及稍后描述的 常用选项。
| 设置 | 输入类型 | 必填 |
|---|---|---|
是 |
||
是 |
||
否 |
||
否 |
||
否 |
||
否 |
||
否 |
另请参见 常用选项，了解所有输入插件支持的选项列表。
json_key_file
编辑- 值类型为 路径
- 此设置没有默认值。
用于向存储桶验证用户身份的密钥路径。此服务用户*必须*具有 pubsub.topics.publish 权限，以便可以发布到主题。
如果 Logstash 在 Google Compute Engine 中运行并且未定义 json_key_file，则插件将使用 GCE 的应用程序默认凭据。在 GCE 之外，必须指定服务帐号 JSON 密钥文件。
message_count_threshold
编辑- 值类型为 数字
- 默认为：
100
排队消息达到此数量后，即使延迟阈值尚未到期，也会在一次调用中发送所有消息。必须 < 1000。值为 0 将导致消息立即发送，但由于开销而会降低总吞吐量。
常用选项
编辑所有输出插件都支持这些配置选项