› ›

Sqs 输出插件

编辑

Sqs 输出插件

编辑

aws 集成插件的一个组件
集成版本：v7.1.8
发布日期：2024-07-26
更新日志

有关其他版本，请参阅版本化插件文档。

获取帮助

编辑

如有关于插件的问题，请在Discuss论坛中开一个主题。如有错误或功能请求，请在Github中开一个问题。有关 Elastic 支持的插件列表，请查阅Elastic 支持矩阵。

描述

编辑

将事件推送到 Amazon Web Services (AWS) 简单队列服务 (SQS) 队列。

SQS 是一个简单、可扩展的队列系统，是 Amazon Web Services 工具套件的一部分。虽然 SQS 与其他队列系统（如高级消息队列协议 (AMQP)）类似，但它使用自定义 API，并且需要您拥有 AWS 帐户。有关 SQS 如何工作、定价计划以及如何设置队列的更多详细信息，请参阅http://aws.amazon.com/sqs/。

“使用者”身份必须对队列具有以下权限

sqs:GetQueueUrl
sqs:SendMessage
sqs:SendMessageBatch

通常，您应该设置 IAM 策略，创建用户并将 IAM 策略应用于用户。有关设置 AWS 身份的更多详细信息，请参阅http://aws.amazon.com/iam/。示例如下

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sqs:GetQueueUrl",
        "sqs:SendMessage",
        "sqs:SendMessageBatch"
      ],
      "Resource": "arn:aws:sqs:us-east-1:123456789012:my-sqs-queue"
    }
  ]
}

批量发布

编辑

此输出以批处理方式将消息发布到 SQS，以优化事件吞吐量并提高性能。这是使用 [SendMessageBatch](http://docs.aws.amazon.com/AWSSimpleQueueService/latest/APIReference/API_SendMessageBatch.html) API 完成的。当以批处理方式将消息发布到 SQS 时，必须遵守以下服务限制（请参阅 [Amazon SQS 中的限制](http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/limits-messages.html)）

允许的最大单个消息大小为 256KiB。
最大总负载大小（即批处理中所有单个消息的大小之和）也为 256KiB。

此插件将动态调整发布到 SQS 的批处理大小，以确保总负载大小不超过 256KiB。

此输出当前无法处理大于 256KiB 的消息。任何超过此大小的单个消息都将被丢弃。

Sqs 输出配置选项

编辑

此插件支持以下配置选项以及稍后描述的通用选项。

设置	输入类型	必需
`access_key_id`	字符串	否
`aws_credentials_file`	字符串	否
`batch_events`	数字	否
`endpoint`	字符串	否
`message_max_size`	字节	否
`proxy_uri`	字符串	否
`queue`	字符串	是
`queue_owner_aws_account_id`	字符串	否
`region`	字符串	否
`role_arn`	字符串	否
`role_session_name`	字符串	否
`secret_access_key`	字符串	否
`session_token`	字符串	否
`use_aws_bundled_ca`	布尔值	否

另请参阅通用选项，以获取所有输出插件支持的选项列表。

`access_key_id`

编辑

值类型为字符串
此设置没有默认值。

此插件使用 AWS SDK 并支持多种获取凭证的方式，将按此顺序尝试：

静态配置，使用 logstash 插件配置中的 access_key_id 和 secret_access_key 参数
由 aws_credentials_file 指定的外部凭证文件
环境变量 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY
环境变量 AMAZON_ACCESS_KEY_ID 和 AMAZON_SECRET_ACCESS_KEY
IAM 实例配置文件（在 EC2 中运行时可用）

`aws_credentials_file`

编辑

值类型为字符串
此设置没有默认值。

包含 AWS 凭证哈希的 YAML 文件的路径。仅当未设置 access_key_id 和 secret_access_key 时，才会加载此文件。文件的内容应如下所示

    :access_key_id: "12345"
    :secret_access_key: "54321"

`batch_events`

编辑

值类型为数字
默认值为10

在每个批次中发送的事件数。将此项设置为 1 可禁用消息的批处理发送。

`endpoint`

编辑

值类型为字符串
此设置没有默认值。

要连接的端点。默认情况下，它使用 region 的值构造。这在连接到与 S3 兼容的服务时很有用，但请注意，这些服务不能保证与 AWS SDK 正确工作。

`message_max_size`

编辑

值类型为字节
默认值为 "256KiB"

发送到 SQS 的任何消息的最大字节数。超过此大小的消息将被丢弃。请参阅http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/limits-messages.html。

`proxy_uri`

编辑

值类型为字符串
此设置没有默认值。

如果需要，指向代理服务器的 URI

`queue`

编辑

这是一个必需的设置。
值类型为字符串
此设置没有默认值。

目标 SQS 队列的名称。请注意，这只是队列的名称，而不是 URL 或 ARN。

`queue_owner_aws_account_id`

编辑

值类型为字符串
此设置没有默认值。

目标 SQS 队列的所有者帐户 ID。需要在两个帐户上都配置 IAM 权限才能正常工作。

`region`

编辑

值类型为字符串
默认值为"us-east-1"

AWS 区域

`role_arn`

编辑

值类型为字符串
此设置没有默认值。

要承担的 AWS IAM 角色（如果有）。这用于生成临时凭证，通常用于跨帐户访问。有关更多信息，请参阅AssumeRole API 文档。

`role_session_name`

编辑

值类型为字符串
默认值为"logstash"

承担 IAM 角色时要使用的会话名称。

`secret_access_key`

编辑

值类型为字符串
此设置没有默认值。

AWS Secret Access Key

`session_token`

编辑

值类型为字符串
此设置没有默认值。

临时凭证的 AWS 会话令牌

`use_aws_bundled_ca`

编辑

值类型为布尔值
默认值为 false

使用与 AWS SDK 一起提供的捆绑 CA 证书来验证 SSL 对等证书。对于默认证书不可用的情况（例如 Windows），您可以将此项设置为 true。

通用选项

编辑

所有输出插件都支持这些配置选项

设置	输入类型	必需
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否

`codec`

编辑

值类型为codec
默认值为 "json"

用于输出数据的编解码器。输出编解码器是一种方便的方法，用于在数据离开输出之前对其进行编码，而无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这特别有用。例如，如果您有 2 个 sqs 输出。在这种情况下，添加一个命名的 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  sqs {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用来自密钥存储的值。

« Solr_http 输出插件 Statsd 输出插件 »