› ›

Http_poller 输入插件

编辑

Http_poller 输入插件

编辑

插件版本: v5.6.0
发布日期: 2024-06-19
变更日志

其他版本请参见版本化插件文档。

获取帮助

编辑

如有任何关于插件的问题，请在 Discuss 论坛中发帖提问。如发现错误或有功能需求，请在 Github 中提交 issue。如需查看 Elastic 支持的插件列表，请参考 Elastic 支持矩阵。

描述

编辑

此 Logstash 输入插件允许您调用 HTTP API，将其输出解码为事件，然后发送它们。此插件的构想源于需要读取 Spring Boot 指标端点，而不是配置 JMX 来监控我的 Java 应用程序内存/GC 等。

示例

编辑

从 URL 列表读取数据，并使用编解码器解码响应正文。配置应如下所示：

input {
  http_poller {
    urls => {
      test1 => "https://127.0.0.1:9200"
      test2 => {
        # Supports all options supported by ruby's Manticore HTTP client
        method => get
        user => "AzureDiamond"
        password => "hunter2"
        url => "https://127.0.0.1:9200/_cluster/health"
        headers => {
          Accept => "application/json"
        }
     }
    }
    request_timeout => 60
    # Supports "cron", "every", "at" and "in" schedules by rufus scheduler
    schedule => { cron => "* * * * * UTC"}
    codec => "json"
    # A hash of request metadata info (timing, response headers, etc.) will be sent here
    metadata_target => "http_poller_metadata"
  }
}

output {
  stdout {
    codec => rubydebug
  }
}

使用 HTTP 轮询器和自定义 CA 或自签名证书。

如果您有自签名证书，则需要将服务器的证书转换为有效的 .jks 或 .p12 文件。一种简单的方法是运行以下单行命令，将服务器的 URL 替换为占位符 MYURL 和 MYPORT。

openssl s_client -showcerts -connect MYURL:MYPORT </dev/null 2>/dev/null|openssl x509 -outform PEM > downloaded_cert.pem; keytool -import -alias test -file downloaded_cert.pem -keystore downloaded_truststore.jks

上述代码片段将创建两个文件 downloaded_cert.pem 和 downloaded_truststore.jks。在此过程中，系统将提示您为 jks 文件设置密码。要配置 Logstash，请使用如下配置。

 http_poller {
   urls => {
     myurl => "https://myhostname:1234"
   }
   truststore => "/path/to/downloaded_truststore.jks"
   truststore_password => "mypassword"
   schedule => { cron => "* * * * * UTC"}
 }

事件元数据和 Elastic 通用架构 (ECS)

编辑

此输入将向每个事件添加有关 HTTP 连接本身的元数据。

禁用 ECS 兼容性时，元数据会添加到各种非标准顶级字段中，这可能会在后续流程中造成混淆和架构冲突。

使用 ECS 兼容模式，我们可以确保管道在事件的生命周期中始终能够访问这些元数据，而不会污染顶级命名空间。

以下是 ECS 兼容模式如何影响输出。

ECS 已禁用	ECS v1	可用性	描述
[@metadata][host]	[@metadata][input][http_poller][request][host][hostname]	始终	主机名
[@metadata][code]	[@metadata][input][http_poller][response][status_code]	当服务器响应有效的状态代码时	HTTP 响应代码
[@metadata][response_headers]	[@metadata][input][http_poller][response][headers]	当服务器响应标头时	响应的 HTTP 标头
[@metadata][response_message]	[@metadata][input][http_poller][response][status_message]	当服务器响应状态行时	HTTP 标头的状态行消息
[@metadata][runtime_seconds]	[@metadata][input][http_poller][response][elapsed_time_ns]	当服务器响应有效的状态代码时	调用端点的经过时间。ECS v1 以纳秒显示。
[http_request_failure][runtime_seconds]	[event][duration]	当服务器抛出异常时	调用端点的经过时间。ECS v1 以纳秒显示。
[@metadata][times_retried]	[@metadata][input][http_poller][request][retry_count]	当轮询器成功调用服务器时	来自 HTTP 客户端库的重试次数
[@metadata][name] / [http_request_failure][name]	[@metadata][input][http_poller][request][name]	始终	轮询器配置中 `urls` 的键
[@metadata][request] / [http_request_failure][request]	[@metadata][input][http_poller][request][original]	始终	轮询器配置中 `urls` 的整个对象
[http_request_failure][error]	[error][message]	当服务器抛出异常时	错误消息
[http_request_failure][backtrace]	[error][stack_trace]	当服务器抛出异常时	错误的堆栈跟踪
--	[url][full]	当服务器抛出异常时	端点的 URL
--	[http][request][method]	当服务器抛出异常时	HTTP 请求方法
--	[host][hostname]	当服务器抛出异常时	主机名

Http_poller 输入配置选项

编辑

此插件支持以下配置选项以及稍后描述的通用选项。

设置	输入类型	必填
`automatic_retries`	数字	否
`cacert`	有效的系统文件路径	已弃用
`client_cert`	有效的系统文件路径	已弃用
`client_key`	有效的系统文件路径	已弃用
`connect_timeout`	数字	否
`cookies`	布尔值	否
`ecs_compatibility`	字符串	否
`follow_redirects`	布尔值	否
`keepalive`	布尔值	否
`keystore`	有效的系统文件路径	已弃用
`keystore_password`	密码	已弃用
`keystore_type`	字符串	已弃用
`metadata_target`	字符串	否
`密码`	密码	否
`pool_max`	数字	否
`pool_max_per_route`	数字	否
`proxy`	<<,>>	否
`request_timeout`	数字	否
`retry_non_idempotent`	布尔值	否
`schedule`	哈希值	是
`socket_timeout`	数字	否
`ssl_certificate`	路径	否
`ssl_certificate_authorities`	路径列表	否
`ssl_cipher_suites`	字符串列表	否
`ssl_enabled`	布尔值	否
`ssl_keystore_password`	密码	否
`ssl_keystore_path`	路径	否
`ssl_keystore_type`	字符串	否
`ssl_truststore_password`	密码	否
`ssl_truststore_path`	路径	否
`ssl_truststore_type`	字符串	否
`ssl_verification_mode`	字符串，其中之一为 `["full", "none"]`	否
`target`	字符串	否
`truststore`	有效的系统文件路径	已弃用
`truststore_password`	密码	已弃用
`truststore_type`	字符串	已弃用
`urls`	哈希值	是
`user`	字符串	否
`validate_after_inactivity`	数字	否

另请参见通用选项，了解所有输入插件支持的选项列表。

`automatic_retries`

编辑

值类型为数字
默认值为 1

客户端应重试失败 URL 的次数。如果启用了 keepalive，我们强烈建议不要将此值设置为零。某些服务器会错误地过早结束 keepalive，需要重试！注意：如果设置了 retry_non_idempotent，则仅重试 GET、HEAD、PUT、DELETE、OPTIONS 和 TRACE 请求。

`cacert`

编辑

在 5.5.0 中弃用。

已替换为 ssl_certificate_authorities

值类型为路径
此设置没有默认值。

如果您需要使用自定义 X.509 CA（.pem 证书），请在此处指定其路径。

`client_cert`

编辑

在 5.5.0 中弃用。

已替换为 ssl_certificate

值类型为路径
此设置没有默认值。

如果您想使用客户端证书（注意，大多数人都不会这样做），请在此处设置 x509 证书的路径。

`client_key`

编辑

在 5.5.0 中弃用。

已替换为 ssl_key

值类型为路径
此设置没有默认值。

如果您使用客户端证书，请在此处指定加密密钥的路径。

`connect_timeout`

编辑

值类型为数字
默认值为 10

等待建立连接的超时时间（以秒为单位）。默认为 10s。

`cookies`

编辑

值类型为布尔值
默认值为 true

启用 Cookie 支持。启用此选项后，客户端将像普通的 Web 浏览器一样在请求之间保留 Cookie。默认情况下启用。

`ecs_compatibility`

编辑

值类型为字符串
支持的值为：
- disabled：在根级别添加非结构化数据。
- v1：使用与 Elastic 通用架构兼容的 error、url 和 http 字段。

控制此插件与 Elastic 通用架构 (ECS) 的兼容性。有关详细信息，请参见事件元数据和 Elastic 通用架构 (ECS)。

示例输出

示例输出：ECS 已禁用

{
    "http_poller_data" => {
        "@version" => "1",
        "@timestamp" => 2021-01-01T00:43:22.388Z,
        "status" => "UP"
    },
    "@version" => "1",
    "@timestamp" => 2021-01-01T00:43:22.389Z,
}

示例输出：ECS 已启用

{
    "http_poller_data" => {
        "status" => "UP",
        "@version" => "1",
        "event" => {
            "original" => "{\"status\":\"UP\"}"
        },
        "@timestamp" => 2021-01-01T00:40:59.558Z
    },
    "@version" => "1",
    "@timestamp" => 2021-01-01T00:40:59.559Z
}

示例错误输出：ECS 已启用

{
    "@timestamp" => 2021-07-09T09:53:48.721Z,
    "@version" => "1",
    "host" => {
        "hostname" => "MacBook-Pro"
    },
    "http" => {
        "request" => {
            "method" => "get"
        }
    },
    "event" => {
        "duration" => 259019
    },
    "error" => {
        "stack_trace" => nil,
        "message" => "Connection refused (Connection refused)"
    },
    "url" => {
        "full" => "https://127.0.0.1:8080/actuator/health"
    },
    "tags" => [
        [0] "_http_request_failure"
    ]
}

`follow_redirects`

编辑

值类型为布尔值
默认值为 true

是否应跟踪重定向？默认为 true。

`keepalive`

编辑

值类型为布尔值
默认值为 true

启用此选项以启用 HTTP keepalive 支持。我们强烈建议将 automatic_retries 设置为至少 1，以修复与损坏的 keepalive 实现的交互。

`keystore`

编辑

在 5.5.0 中弃用。

已替换为 ssl_keystore_path

值类型为路径
此设置没有默认值。

如果您需要使用自定义密钥库（.jks），请在此处指定。这不适用于 .pem 密钥！

`keystore_password`

编辑

在 5.5.0 中弃用。

已替换为 ssl_keystore_password

值类型为密码
此设置没有默认值。

在此处指定密钥库密码。注意，大多数使用 keytool 创建的 .jks 文件都需要密码！

`keystore_type`

编辑

在 5.5.0 中弃用。

已替换为 ssl_keystore_type

值类型为字符串
默认值为 "JKS"

在此处指定密钥库类型。 JKS 或 PKCS12 之一。默认为 JKS。

`metadata_target`

编辑

值类型为字符串
默认值为 "@metadata"

如果您想使用请求/响应元数据。将此值设置为要存储嵌套元数据哈希的字段的名称。

`password`

编辑

值类型为密码
此设置没有默认值。

与 user 结合使用进行 HTTP 身份验证的密码。

`pool_max`

编辑

值类型为数字
默认值为 50

最大并发连接数。默认为 50。

`pool_max_per_route`

编辑

值类型为数字
默认值为 25

到单个主机的最大并发连接数。默认为 25。

`proxy`

编辑

值类型为字符串
此设置没有默认值。

如果您想使用 HTTP 代理。这支持多种配置语法。

代理主机格式：http://proxy.org:1234
代理主机格式：{host => "proxy.org", port => 80, scheme => 'http', user => 'username@host', password => 'password'}
代理主机格式：{url => 'http://proxy.org:1234', user => 'username@host', password => 'password'}

`request_timeout`

编辑

值类型为数字
默认值为 60

整个请求的超时时间（以秒为单位）。

`retry_non_idempotent`

编辑

值类型为布尔值
默认值为 false

如果启用了 automatic_retries，这将导致非幂等 HTTP 动词（例如 POST）被重试。

`schedule`

编辑

值类型为哈希表
此设置没有默认值。

定期轮询 URL 的时间安排格式：一个哈希表，其中包含：+键："cron" | "every" | "in" | "at"+值：字符串示例：a) { "every" ⇒ "1h" } b) { "cron" ⇒ "* * * * * UTC" } 详情请参考：rufus/scheduler，了解不同的调度选项和值字符串格式

`socket_timeout`

编辑

值类型为数字
默认值为 10

等待套接字上数据的超时时间（以秒为单位）。默认为 10s

`ssl_certificate`

编辑

值类型为路径
此设置没有默认值。

用于对客户端进行身份验证的 SSL 证书。此证书应为 OpenSSL 风格的 X.509 证书文件。

只有在设置了 ssl_key 时才能使用此设置。

`ssl_certificate_authorities`

编辑

值类型为路径列表
此设置没有默认值

用于验证服务器证书的 .cer 或 .pem CA 文件。

`ssl_cipher_suites`

编辑

值类型为字符串列表
此设置没有默认值

要使用的密码套件列表，按优先级列出。支持的密码套件因 Java 和协议版本而异。

`ssl_enabled`

编辑

值类型为布尔值
默认值为 true

启用 SSL/TLS 安全通信。其他 ssl_ 选项生效必须设置为 true。

`ssl_key`

编辑

值类型为路径
此设置没有默认值。

与 ssl_certificate 对应的 OpenSSL 风格的 RSA 私钥。

只有在设置了 ssl_certificate 时才能使用此设置。

`ssl_keystore_password`

编辑

值类型为密码
此设置没有默认值。

设置密钥库密码

`ssl_keystore_path`

编辑

值类型为路径
此设置没有默认值。

用于向服务器呈现证书的密钥库。可以是 .jks 或 .p12

`ssl_keystore_type`

编辑

值可以是：jks，pkcs12
如果未提供，则将从密钥库文件名推断出值。

密钥库文件的格式。必须是 jks 或 pkcs12。

`ssl_supported_protocols`

编辑

值类型为字符串
允许的值为：'TLSv1.1'，'TLSv1.2'，'TLSv1.3'
默认值取决于使用的 JDK。对于最新的 Logstash，默认值为 ['TLSv1.2', 'TLSv1.3']。'TLSv1.1' 不被认为是安全的，仅为旧版应用程序提供。

建立与 HTTP 端点连接时要使用的允许的 SSL/TLS 版本列表。

对于 Java 8，'TLSv1.3' 仅从 8u262（AdoptOpenJDK）开始支持，但要求您在 Logstash 中设置 LS_JAVA_OPTS="-Djdk.tls.client.protocols=TLSv1.3" 系统属性。

如果您将插件配置为在任何较新的 JVM（例如 Logstash 附带的 JVM）上使用 'TLSv1.1'，则默认情况下该协议处于禁用状态，需要通过更改 $JDK_HOME/conf/security/java.security 配置文件中的 jdk.tls.disabledAlgorithms 来手动启用它。也就是说，需要从列表中删除 TLSv1.1。

`ssl_truststore_password`

编辑

值类型为密码
此设置没有默认值。

设置信任库密码

`ssl_truststore_path`

编辑

值类型为路径
此设置没有默认值。

用于验证服务器证书的信任库。可以是 .jks 或 .p12。

`ssl_truststore_type`

编辑

值可以是：jks，pkcs12
如果未提供，则将从信任库文件名推断出值。

信任库文件的格式。必须是 jks 或 pkcs12。

`ssl_verification_mode`

编辑

值类型为字符串
支持的值为：full，none
默认值为 full

控制服务器证书的验证。full 选项验证提供的证书是否由受信任的颁发机构 (CA) 签名，以及服务器的主机名（或 IP 地址）是否与证书中标识的名称匹配。

none 设置不执行服务器证书的验证。此模式禁用了 SSL/TLS 的许多安全优势，只有在仔细考虑后才能使用。它主要用作尝试解决 TLS 错误时的临时诊断机制。强烈建议不要在生产环境中使用 none。

`target`

编辑

值类型为字符串
此设置没有默认值。

定义用于放置接收数据的目标字段。如果省略此设置，则数据将存储在事件的根（顶层）。

启用 ECS 时，在编解码器中设置 target（如果编解码器具有 target 选项）。示例：codec => json { target => "TARGET_FIELD_NAME" }

`truststore`

编辑

在 5.5.0 中弃用。

已被 ssl_truststore_path 替换

值类型为路径
此设置没有默认值。

如果您需要使用自定义信任库（.jks），请在此处指定。这与 .pem 证书不兼容！

`truststore_password`

编辑

在 5.5.0 中弃用。

已被 ssl_truststore_password 替换

值类型为密码
此设置没有默认值。

在此处指定信任库密码。请注意，大多数使用 keytool 创建的 .jks 文件都需要密码！

`truststore_type`

编辑

在 5.5.0 中弃用。

已被 ssl_truststore_type 替换

值类型为字符串
默认值为 "JKS"

在此处指定信任库类型。 JKS 或 PKCS12 之一。默认为 JKS

`urls`

编辑

这是必需的设置。
值类型为哈希表
此设置没有默认值。

此格式的 URL 哈希表："name" => "url"。名称和 URL 将传递到输出事件中。

urls 中的值可以是

字符串 URL（将作为 HTTP GET 发出）。
包含 Manticore 后端提供的许多有用键的子哈希表
- url：字符串 URL
- method：（可选）要使用的 HTTP 方法（默认为 GET）
- user：（可选）HTTP 基本身份验证用户名。对于 Manticore，用户必须位于 auth 子哈希表下，但此插件也以任何方式接受它。
- password：（可选）HTTP 基本身份验证密码。对于 Manticore，密码必须位于 auth 子哈希表下，但此插件也以任何方式接受它。
- headers：包含键值对头的哈希表。
- body：字符串（仅在 POST 和 PUT 请求中支持）
- Manticore 文档中提到的其他选项 Manticore 文档。请注意，如果我们替换后端，则上面未明确记录的 Manticore 选项未经过彻底测试，因此可能会以意外的方式中断。

备注

作为 urls 的一部分指定的密码容易在插件日志输出中暴露。插件不会将它们声明为密码，因此不会像我们在其他地方那样将它们包装在减少泄漏的包装器中。
我们不保证像 Manticore 的 follow_redirects 这样的布尔类型选项是否被正确支持。字符串 true 或 false 可能会被传递，并且在 ruby 中任何字符串都是“真值”。
我们的此插件实现排除了将 auth[:eager] 指定为 true 以外任何值的能力

`user`

编辑

值类型为字符串
此设置没有默认值。

用于所有请求的 HTTP 身份验证用户名。请注意，您也可以为每个 URL 设置此项。如果设置此项，则还必须设置 password 选项。

`validate_after_inactivity`

编辑

值类型为数字
默认值为 200

等待多长时间才能检查过时的连接以确定是否需要保持活动请求。如果您经常遇到连接错误，请考虑将此值设置为低于默认值，可能设置为 0。

此客户端基于 Apache Commons 的 HTTP 实现。以下是 Apache Commons 文档对此选项的描述：“定义非活动时间段（以毫秒为单位），在此时间段之后，必须在将持久连接租赁给使用者之前重新验证持久连接。传递给此方法的非正值会禁用连接验证。此检查有助于检测在保持非活动状态保存在池中时已变得陈旧（半关闭）的连接。”

通用选项

编辑

所有输入插件都支持这些配置选项

设置	输入类型	必填
`add_field`	哈希值	否
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否
`tags`	array	否
`type`	字符串	否

`add_field`

编辑

值类型为哈希表
默认值为 {}

向事件添加字段

`codec`

编辑

值类型为编解码器
默认值为 "json"

用于输入数据的编解码器。输入编解码器是在数据进入输入之前对其进行解码的一种便捷方法，无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`

编辑

值类型为布尔值
默认值为 true

默认情况下，我们会记录所有可用的指标，但您可以禁用特定插件的指标收集，从而启用或禁用此特定插件实例的指标日志记录。

`id`

编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的ID。如果未指定ID，Logstash将生成一个。强烈建议您在配置中设置此ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个http_poller输入。在这种情况下，添加命名ID将有助于在使用监控API时监控Logstash。

input {
  http_poller {
    id => "my_plugin_id"
  }
}

id字段中的变量替换仅支持环境变量，不支持使用密钥存储中的值。

`tags`

编辑

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的标签。

这可以帮助以后的处理。

`type`

编辑

值类型为字符串
此设置没有默认值。

向此输入处理的所有事件添加type字段。

类型主要用于过滤器激活。

类型作为事件本身的一部分存储，因此您也可以使用类型在Kibana中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您将事件从发件人发送到索引器时），则新的输入不会覆盖现有类型。即使发送到另一个Logstash服务器，在发件人处设置的类型也会在事件的整个生命周期中保留。

« Http 输入插件 Imap 输入插件 »