› ›

Kinesis 输入插件

编辑

Kinesis 输入插件编辑

插件版本: v2.3.0
发布日期: 2023-08-28
变更日志

有关其他版本，请参阅版本化插件文档.

安装编辑

对于默认情况下未捆绑的插件，可以通过运行 bin/logstash-plugin install logstash-input-kinesis 轻松安装。有关更多详细信息，请参阅使用插件.

获取帮助编辑

有关插件的问题，请在 Discuss 论坛中发布主题。对于错误或功能请求，请在 Github 中打开问题。有关 Elastic 支持的插件列表，请参阅 Elastic 支持矩阵.

描述编辑

您可以使用此插件通过 AWS Kinesis 接收事件。此插件使用 Java Kinesis 客户端库。https://github.com/awslabs/amazon-kinesis-client 上的文档将很有用。

AWS 凭据可以通过环境变量或 IAM 实例角色指定。该库使用 DynamoDB 表进行工作协调，因此您需要授予对该表以及 Kinesis 流的访问权限。DynamoDB 表的名称与 application_name 配置选项相同，默认值为“logstash”。

该库还可以选择将工作统计信息发送到 CloudWatch。

用法编辑

input {
  kinesis {
    kinesis_stream_name => "my-logging-stream"
    codec => json { }
  }
}

与 CloudWatch Logs 一起使用编辑

如果您想读取 CloudWatch Logs 订阅流，您还需要安装和配置 CloudWatch Logs 编解码器.

身份验证编辑

此插件使用默认的 AWS SDK 身份验证链，DefaultAWSCredentialsProviderChain，来确定客户端将使用哪些凭据，除非设置了 profile，在这种情况下，将使用 ProfileCredentialsProvider。

默认链按以下顺序读取凭据

AWS_ACCESS_KEY_ID / AWS_SECRET_KEY 环境变量
~/.aws/credentials 凭据文件
EC2 实例配置文件

凭据需要访问以下服务

AWS Kinesis
AWS DynamoDB。客户端库将工作协调信息存储在 DynamoDB 中（每个分区的偏移量和活动工作者）
AWS CloudWatch。如果启用了指标，则凭据需要授予 CloudWatch 更新权限。

有关默认链的更多信息，请参阅 AWS 文档。

Kinesis 输入配置选项编辑

此插件支持以下配置选项以及后面描述的通用选项。

设置	输入类型	必需
`application_name`	字符串	否
`checkpoint_interval_seconds`	数字	否
`http_proxy`	密码	否
`initial_position_in_stream`	字符串	否
`kinesis_stream_name`	字符串	是
`metrics`	字符串，其中之一为 `[nil, "cloudwatch"]`	否
`non_proxy_hosts`	字符串	否
`profile`	字符串	否
`region`	字符串	否
`role_arn`	字符串	否
`role_session_name`	字符串	否
`additional_settings`	字符串	否

另请参阅通用选项，了解所有输入插件支持的选项列表。

`application_name`编辑

值类型为字符串
默认值为 "logstash"

用于 dynamodb 协调表的应用程序名称。对于此 kinesis 流必须是唯一的。

`checkpoint_interval_seconds`编辑

值类型为数字
默认值为 60

工作者检查点到 dynamodb 之间的秒数。

`http_proxy`编辑

值类型为密码
此设置没有默认值。

对 Kinesis、DynamoDB 和 CloudWatch（如果已启用）的代理支持。

`initial_position_in_stream`编辑

值类型为字符串
默认值为 "TRIM_HORIZON"

initialPositionInStream 的值。接受“TRIM_HORIZON”或“LATEST”。

`kinesis_stream_name`编辑

这是必需的设置。
值类型为字符串
此设置没有默认值。

kinesis 流名称。

`metrics`编辑

值可以是以下任何一个：``、cloudwatch
默认值为 nil

工作者指标跟踪。默认情况下，这是禁用的，将其设置为“cloudwatch”以启用 Kinesis 客户端库中的 cloudwatch 集成。

`non_proxy_hosts`编辑

值类型为字符串
此设置没有默认值。

应从代理中排除的主机，用“|”（管道）字符分隔。

`profile`编辑

值类型为字符串
此设置没有默认值。

用于身份验证的 AWS 配置文件名称。这确保使用 ~/.aws/credentials AWS 身份验证提供程序。默认情况下，它为空，将使用默认链。

`region`编辑

值类型为字符串
默认值为 "us-east-1"

Kinesis、DynamoDB 和 CloudWatch（如果已启用）的 AWS 区域

`role_arn`编辑

值类型为字符串
此设置没有默认值。

要假定的 AWS 角色。例如，这可用于访问不同 AWS 帐户中的 Kinesis 流。创建默认凭据或配置文件凭据后，将假定此角色。默认情况下，它为空，不会假定角色。

`role_session_name`编辑

值类型为字符串
默认值为 logstash

假定 IAM 角色时要使用的会话名称。例如，这将记录在 CloudTrail 日志中。

`additional_settings`编辑

值类型为字符串
此设置没有默认值

KCL 提供了几个配置选项，可以在 KinesisClientLibConfiguration 中设置。这些选项通过各种函数调用进行配置，这些函数都以 with 开头。其中一些函数采用复杂类型，这些类型不受支持。但是，您可以通过在 snake_case 中提供键值对来调用任何一个采用基本类型的 withX() 函数。

示例

要设置 dynamodb 读取和写入容量值，请使用以下函数：withInitialLeaseTableReadCapacity 和 withInitialLeaseTableWriteCapacity。

additional_settings => {"initial_lease_table_read_capacity" => 25 "initial_lease_table_write_capacity" => 100}

通用选项编辑

以下配置选项由所有输入插件支持

设置	输入类型	必需
`add_field`	hash	否
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否
`tags`	数组	否
`type`	字符串	否

详细信息编辑

`add_field`编辑

值类型为 hash
默认值为 {}

向事件添加字段

`codec`编辑

值类型为 codec
默认值为 "plain"

用于输入数据的编解码器。输入编解码器是在输入数据进入输入之前对其进行解码的便捷方法，无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`edit

值类型为布尔值
默认值为 true

禁用或启用此特定插件实例的指标日志记录，默认情况下我们会记录所有指标，但您可以禁用特定插件的指标收集。

`id`edit

值类型为字符串
此设置没有默认值。

在插件配置中添加一个唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 kinesis 输入。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  kinesis {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用密钥存储中的值。

`tags`edit

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的任意标签。

这可以帮助以后处理。

`type`edit

值类型为字符串
此设置没有默认值。

向此输入处理的所有事件添加一个 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发件人发送事件到索引器时），那么新的输入将不会覆盖现有的类型。在发件人处设置的类型会一直保留在该事件中，即使它被发送到另一个 Logstash 服务器也是如此。

« Kafka 输入插件 Logstash 输入插件 »

Kinesis 输入插件

Kinesis 输入插件编辑

安装编辑

获取帮助编辑

描述编辑

用法编辑

与 CloudWatch Logs 一起使用编辑

身份验证编辑

Kinesis 输入配置选项编辑

application_name编辑

checkpoint_interval_seconds编辑

http_proxy编辑

initial_position_in_stream编辑

kinesis_stream_name编辑

metrics编辑

non_proxy_hosts编辑

profile编辑

region编辑

role_arn编辑

role_session_name编辑

additional_settings编辑