output {
  google_pubsub {
    # Required attributes
    project_id => "my_project"
    topic => "my_topic"

    # Optional if you're using app default credentials
    json_key_file => "service_account_key.json"
  }
}

高容量

编辑

如果您发现上传速度太慢，可以增加消息批处理

output {
  google_pubsub {
    project_id => "my_project"
    topic => "my_topic"
    json_key_file => "service_account_key.json"

    # Options for configuring the upload
    message_count_threshold => 1000
    delay_threshold_secs => 10
    request_byte_threshold => 5000000
  }
}

属性

编辑

您可以将其他属性附加到每个请求。例如，您可以将数据中心标签附加到日志消息以帮助进行调试

output {
  google_pubsub {
    project_id => "my_project"
    topic => "my_topic"
    json_key_file => "service_account_key.json"


    attributes => {"origin" => "pacific-datacenter"}
  }
}

不同的编解码器

编辑

您可以将编解码器与此插件一起使用，以更改事件的主体

output {
  google_pubsub {
    project_id => "my_project"
    topic => "my_topic"
    json_key_file => "service_account_key.json"


    codec => plain {format => "%{[time]}: %{[message]}"}
  }
}

其他资源

编辑

Google Cloud Pub/Sub 输出配置选项

编辑

此插件支持以下配置选项，以及稍后描述的通用选项。

设置	输入类型	必需
`project_id`	字符串	是
`topic`	字符串	是
`json_key_file`	路径	否
`delay_threshold_secs`	数字	否
`message_count_threshold`	数字	否
`request_byte_threshold`	字节	否
`attributes`	哈希	否

另请参阅通用选项，以获取所有输入插件支持的选项列表。

`project_id`

编辑

值类型为字符串
此设置没有默认值。

Google Cloud 项目 ID（名称，而不是数字）。

`topic`

编辑

值类型为字符串
此设置没有默认值。

Google Cloud Pub/Sub 主题。您必须在运行此插件之前手动创建主题。

`json_key_file`

编辑

值类型为路径
此设置没有默认值。

用于验证您的用户到存储桶的密钥的路径。此服务用户必须具有 pubsub.topics.publish 权限，以便它可以发布到主题。

如果 Logstash 在 Google Compute Engine 中运行，并且未定义 json_key_file，则插件将使用 GCE 的应用程序默认凭据。在 GCE 之外，您必须指定一个服务帐户 JSON 密钥文件。

`delay_threshold_secs`

编辑

值类型为数字
默认值为: 5

从第一个消息排队的时间起，一旦此延迟过去，就发送批次。必须大于 0。

`message_count_threshold`

编辑

值类型为数字
默认值为: 100

一旦此数量的消息排队，即使尚未经过延迟阈值，也以单个调用发送所有消息。必须 < 1000。值为 0 将导致消息立即发送，但会因开销而降低总吞吐量。

`request_byte_threshold`

编辑

值类型为字节
默认值为: 1000000

一旦批处理请求中的字节数达到此阈值，即使尚未超过延迟或消息计数阈值，也以单个调用发送所有消息。这包括完整的消息负载大小，包括设置的任何属性。

`attributes`

编辑

值类型为哈希
默认值为: {}

以键：值格式添加到消息的属性。键和值必须是字符串。

通用选项

编辑

所有输出插件都支持这些配置选项

设置	输入类型	必需
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否

`codec`

编辑

值类型是codec
默认值是 "json"

用于输出数据的编解码器。输出编解码器是一种方便的方法，可以在您的数据离开输出之前对其进行编码，而无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型是布尔值
默认值是 true

禁用或启用此特定插件实例的度量日志记录。默认情况下，我们会记录所有可以记录的度量标准，但您可以禁用特定插件的度量标准收集。

`id`

编辑

值类型是字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用。例如，如果您有 2 个 google_pubsub 输出。在这种情况下添加命名的 ID 将有助于在使用监视 API 时监视 Logstash。

output {
  google_pubsub {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用来自密钥存储的值。

« Google Cloud Storage 输出插件 Graphite 输出插件 »

Was this helpful?

Feedback

The Search AI Company

Generative AI

Search

Security

Observability

By solution

Industries

Google Cloud Pub/Sub 输出插件