› ›

Sqs 输入插件

编辑

Sqs 输入插件

编辑

aws 集成插件的一个组件
集成版本：v7.1.8
发布于：2024-07-26
更新日志

对于其他版本，请参阅版本化的插件文档。

获取帮助

编辑

有关插件的问题，请在 Discuss 论坛中打开一个主题。对于错误或功能请求，请在 Github 中打开一个问题。有关 Elastic 支持的插件列表，请查阅 Elastic 支持矩阵。

描述

编辑

从 Amazon Web Services Simple Queue Service (SQS) 队列中拉取事件。

SQS 是一个简单、可扩展的队列系统，是 Amazon Web Services 工具套件的一部分。

尽管 SQS 与 AMQP 等其他队列系统类似，但它使用自定义 API，并且需要您拥有 AWS 账户。有关 SQS 如何工作、定价计划以及如何设置队列的更多详细信息，请参阅 http://aws.amazon.com/sqs/。

要使用此插件，您必须

拥有一个 AWS 账户
设置一个 SQS 队列
创建一个有权从队列中消费消息的身份。

“消费者”身份必须对队列具有以下权限

sqs:ChangeMessageVisibility
sqs:ChangeMessageVisibilityBatch
sqs:DeleteMessage
sqs:DeleteMessageBatch
sqs:GetQueueAttributes
sqs:GetQueueUrl
sqs:ListQueues
sqs:ReceiveMessage

通常，您应该设置一个 IAM 策略，创建一个用户并将 IAM 策略应用于该用户。一个示例策略如下：

    {
      "Statement": [
        {
          "Action": [
            "sqs:ChangeMessageVisibility",
            "sqs:ChangeMessageVisibilityBatch",
            "sqs:DeleteMessage",
            "sqs:DeleteMessageBatch",
            "sqs:GetQueueAttributes",
            "sqs:GetQueueUrl",
            "sqs:ListQueues",
            "sqs:ReceiveMessage"
          ],
          "Effect": "Allow",
          "Resource": [
            "arn:aws:sqs:us-east-1:123456789012:Logstash"
          ]
        }
      ]
    }

有关设置 AWS 身份的更多详细信息，请参阅 http://aws.amazon.com/iam/。

Sqs 输入配置选项

编辑

此插件支持以下配置选项以及稍后描述的通用选项。

设置	输入类型	必需
`access_key_id`	字符串	否
`additional_settings`	哈希	否
`aws_credentials_file`	字符串	否
`endpoint`	字符串	否
`id_field`	字符串	否
`md5_field`	字符串	否
`polling_frequency`	数字	否
`proxy_uri`	字符串	否
`queue`	字符串	是
`queue_owner_aws_account_id`	字符串	否
`region`	字符串	否
`role_arn`	字符串	否
`role_session_name`	字符串	否
`secret_access_key`	字符串	否
`sent_timestamp_field`	字符串	否
`session_token`	字符串	否
`threads`	数字	否
`use_aws_bundled_ca`	布尔值	否

另请参阅通用选项，查看所有输入插件支持的选项列表。

`access_key_id`

编辑

值类型为字符串
此设置没有默认值。

此插件使用 AWS SDK，并支持多种获取凭证的方式，这些方式将按此顺序尝试

静态配置，使用 logstash 插件配置中的 access_key_id 和 secret_access_key 参数
由 aws_credentials_file 指定的外部凭证文件
环境变量 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY
环境变量 AMAZON_ACCESS_KEY_ID 和 AMAZON_SECRET_ACCESS_KEY
IAM 实例配置文件（在 EC2 中运行时可用）

`additional_settings`

编辑

值类型为哈希
默认值为 {}

用于参数化与 SQS 连接的设置和对应值的键值对。请参阅AWS SDK 文档中的完整列表。示例：

    input {
      sqs {
        access_key_id => "1234"
        secret_access_key => "secret"
        queue => "logstash-test-queue"
        additional_settings => {
          force_path_style => true
          follow_redirects => false
        }
      }
    }

`aws_credentials_file`

编辑

值类型为字符串
此设置没有默认值。

包含 AWS 凭证哈希的 YAML 文件的路径。仅当未设置 access_key_id 和 secret_access_key 时，才会加载此文件。文件的内容应如下所示

    :access_key_id: "12345"
    :secret_access_key: "54321"

`endpoint`

编辑

值类型为字符串
此设置没有默认值。

要连接的端点。默认情况下，它是使用 region 的值构造的。这在连接到 S3 兼容服务时非常有用，但请注意，这些服务不能保证与 AWS SDK 正确工作。

`id_field`

编辑

值类型为字符串
此设置没有默认值。

用于存储 SQS 消息 ID 的事件字段的名称

`md5_field`

编辑

值类型为字符串
此设置没有默认值。

用于存储 SQS 消息 MD5 校验和的事件字段的名称

`polling_frequency`

编辑

值类型为数字
默认值为 20

轮询频率，默认为 20 秒

`proxy_uri`

编辑

值类型为字符串
此设置没有默认值。

如果需要，代理服务器的 URI

`queue`

编辑

这是一个必需的设置。
值类型为字符串
此设置没有默认值。

从中拉取消息的 SQS 队列的名称。请注意，这只是队列的名称，而不是 URL 或 ARN。

`queue_owner_aws_account_id`

编辑

值类型为字符串
此设置没有默认值。

如果要使用具有嵌入式策略的跨账户队列，则拥有该队列的 AWS 账户的 ID。请注意，AWS SDK 仅支持数字账户 ID，而不支持账户别名。

`region`

编辑

值类型为字符串
默认值为 "us-east-1"

AWS 区域

`role_arn`

编辑

值类型为字符串
此设置没有默认值。

要承担的 AWS IAM 角色（如果有）。这用于生成临时凭证，通常用于跨账户访问。有关更多信息，请参阅AssumeRole API 文档。

`role_session_name`

编辑

值类型为字符串
默认值为 "logstash"

承担 IAM 角色时使用的会话名称。

`secret_access_key`

编辑

值类型为字符串
此设置没有默认值。

AWS Secret Access Key

`sent_timestamp_field`

编辑

值类型为字符串
此设置没有默认值。

用于存储 SQS 消息发送时间戳的事件字段的名称

`session_token`

编辑

值类型为字符串
此设置没有默认值。

临时凭证的 AWS 会话令牌

`threads`

编辑

值类型为数字
默认值为 1

`use_aws_bundled_ca`

编辑

值类型为布尔值
默认值为 false

使用与 AWS SDK 一起提供的捆绑 CA 证书来验证 SSL 对等证书。对于默认证书不可用的情况，例如 Windows，您可以将其设置为 true。

通用选项

编辑

所有输入插件都支持这些配置选项

设置	输入类型	必需
`add_field`	哈希	否
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否
`tags`	数组	否
`type`	字符串	否

`add_field`

编辑

值类型为哈希
默认值为 {}

向事件添加字段

`codec`

编辑

值类型为 codec
默认值为 "json"

用于输入数据的编解码器。输入编解码器是一种方便的方法，可以在数据进入输入之前对其进行解码，而无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

默认情况下，禁用或启用此特定插件实例的指标日志记录。我们记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有 2 个 sqs 输入。在这种情况下添加命名 ID 将有助于在使用监视 API 时监视 Logstash。

input {
  sqs {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用来自 secret store 的值。

`tags`

编辑

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的任意标签。

这有助于稍后的处理。

`type`

编辑

值类型为字符串
此设置没有默认值。

为此输入处理的所有事件添加一个 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用该类型在 Kibana 中进行搜索。

如果您尝试在已经有类型的事件上设置类型（例如，当您从托运人向索引器发送事件时），则新的输入不会覆盖现有类型。在托运人处设置的类型会伴随该事件一生，即使发送到另一台 Logstash 服务器也是如此。

« Sqlite 输入插件 Stdin 输入插件 »