› ›

Http_poller 输入插件

编辑

Http_poller 输入插件编辑

插件版本：v5.5.1
发布日期：2023-11-13
变更日志

有关其他版本，请参阅版本化插件文档。

获取帮助编辑

如果您对插件有任何疑问，请在 Discuss 论坛中发起主题讨论。对于错误或功能请求，请在 Github 中提交问题。有关 Elastic 支持的插件列表，请参阅 Elastic 支持矩阵。

描述编辑

此 Logstash 输入插件允许您调用 HTTP API，将其输出解码为事件，并将它们发送出去。此插件的灵感来自于需要读取 springboot 指标端点，而不是配置 jmx 来监控我的 java 应用程序内存/gc/等。

示例编辑

从 URL 列表中读取并使用编解码器解码响应主体。配置应如下所示

input {
  http_poller {
    urls => {
      test1 => "https://127.0.0.1:9200"
      test2 => {
        # Supports all options supported by ruby's Manticore HTTP client
        method => get
        user => "AzureDiamond"
        password => "hunter2"
        url => "https://127.0.0.1:9200/_cluster/health"
        headers => {
          Accept => "application/json"
        }
     }
    }
    request_timeout => 60
    # Supports "cron", "every", "at" and "in" schedules by rufus scheduler
    schedule => { cron => "* * * * * UTC"}
    codec => "json"
    # A hash of request metadata info (timing, response headers, etc.) will be sent here
    metadata_target => "http_poller_metadata"
  }
}

output {
  stdout {
    codec => rubydebug
  }
}

使用 HTTP 轮询器和自定义 CA 或自签名证书。

如果您有自签名证书，则需要将服务器的证书转换为有效的# .jks 或 .p12 文件。一个简单的方法是运行以下单行命令，将服务器的 URL 替换为占位符 MYURL 和 MYPORT。

openssl s_client -showcerts -connect MYURL:MYPORT </dev/null 2>/dev/null|openssl x509 -outform PEM > downloaded_cert.pem; keytool -import -alias test -file downloaded_cert.pem -keystore downloaded_truststore.jks

上面的代码段将创建两个文件 downloaded_cert.pem 和 downloaded_truststore.jks。在此过程中，系统将提示您为 jks 文件设置密码。要配置 logstash，请使用以下配置。

 http_poller {
   urls => {
     myurl => "https://myhostname:1234"
   }
   truststore => "/path/to/downloaded_truststore.jks"
   truststore_password => "mypassword"
   schedule => { cron => "* * * * * UTC"}
 }

事件元数据和 Elastic Common Schema (ECS)编辑

此输入将向每个事件添加有关 HTTP 连接本身的元数据。

当 ECS 兼容性被禁用时，元数据被添加到各种非标准的顶层字段中，这可能会在后续流程中造成混淆和模式冲突。

使用 ECS 兼容模式，我们可以确保管道在整个事件生命周期中都能访问此元数据，而不会污染顶层命名空间。

以下是 ECS 兼容模式如何影响输出。

ECS 已禁用	ECS v1	可用性	描述
[@metadata][host]	[@metadata][input][http_poller][request][host][hostname]	始终	主机名
[@metadata][code]	[@metadata][input][http_poller][response][status_code]	当服务器响应有效的状态代码时	HTTP 响应代码
[@metadata][response_headers]	[@metadata][input][http_poller][response][headers]	当服务器响应带有标头时	响应的 HTTP 标头
[@metadata][response_message]	[@metadata][input][http_poller][response][status_message]	当服务器响应带有状态行时	HTTP 标头的状态行的消息
[@metadata][runtime_seconds]	[@metadata][input][http_poller][response][elapsed_time_ns]	当服务器响应有效的状态代码时	调用端点的经过时间。ECS v1 以纳秒显示。
[http_request_failure][runtime_seconds]	[event][duration]	当服务器抛出异常时	调用端点的经过时间。ECS v1 以纳秒显示。
[@metadata][times_retried]	[@metadata][input][http_poller][request][retry_count]	当轮询器成功调用服务器时	来自 http 客户端库的重试次数
[@metadata][name] / [http_request_failure][name]	[@metadata][input][http_poller][request][name]	始终	轮询器配置中 `urls` 的键
[@metadata][request] / [http_request_failure][request]	[@metadata][input][http_poller][request][original]	始终	轮询器配置中 `urls` 的整个对象
[http_request_failure][error]	[error][message]	当服务器抛出异常时	错误消息
[http_request_failure][backtrace]	[error][stack_trace]	当服务器抛出异常时	错误的堆栈跟踪
--	[url][full]	当服务器抛出异常时	端点的 URL
--	[http][request][method]	当服务器抛出异常时	HTTP 请求方法
--	[host][hostname]	当服务器抛出异常时	主机名

Http_poller 输入配置选项编辑

此插件支持以下配置选项，以及后面描述的通用选项。

设置	输入类型	必需
`automatic_retries`	数字	否
`cacert`	有效的系统文件路径	已弃用
`client_cert`	有效的系统文件路径	已弃用
`client_key`	有效的系统文件路径	已弃用
`connect_timeout`	数字	否
`cookies`	布尔值	否
`ecs_compatibility`	字符串	否
`follow_redirects`	布尔值	否
`keepalive`	布尔值	否
`keystore`	有效的系统文件路径	已弃用
`keystore_password`	密码	已弃用
`keystore_type`	字符串	已弃用
`metadata_target`	字符串	否
`密码`	密码	否
`pool_max`	数字	否
`pool_max_per_route`	数字	否
`proxy`	<<,>>	否
`request_timeout`	数字	否
`retry_non_idempotent`	布尔值	否
`schedule`	哈希	是
`socket_timeout`	数字	否
`ssl_certificate`	路径	否
`ssl_certificate_authorities`	路径列表	否
`ssl_cipher_suites`	字符串列表	否
`ssl_keystore_password`	密码	否
`ssl_keystore_path`	路径	否
`ssl_keystore_type`	字符串	否
`ssl_truststore_password`	密码	否
`ssl_truststore_path`	路径	否
`ssl_truststore_type`	字符串	否
`ssl_verification_mode`	字符串，其中之一为 `["full", "none"]`	否
`target`	字符串	否
`truststore`	有效的系统文件路径	已弃用
`truststore_password`	密码	已弃用
`truststore_type`	字符串	已弃用
`urls`	哈希	是
`user`	字符串	否
`validate_after_inactivity`	数字	否

另请参阅通用选项，了解所有输入插件支持的选项列表。

`automatic_retries`编辑

值类型为数字
默认值为 1

客户端应重试失败 URL 的次数。我们强烈建议不要将此值设置为零，如果启用了 keepalive。某些服务器会错误地过早结束 keepalive，需要重试！注意：如果设置了 retry_non_idempotent，则只会重试 GET、HEAD、PUT、DELETE、OPTIONS 和 TRACE 请求。

`cacert`编辑

在 5.5.0 中已弃用。

已替换为 ssl_certificate_authorities

值类型为路径
此设置没有默认值。

如果您需要使用自定义 X.509 CA（.pem 证书），请在此处指定该证书的路径。

`client_cert`编辑

在 5.5.0 中已弃用。

已替换为 ssl_certificate

值类型为路径
此设置没有默认值。

如果您想使用客户端证书（注意，大多数人都不想使用），请在此处设置 x509 证书的路径。

`client_key`编辑

在 5.5.0 中已弃用。

已替换为 ssl_key

值类型为路径
此设置没有默认值。

如果您使用的是客户端证书，请在此处指定加密密钥的路径。

`connect_timeout`编辑

值类型为数字
默认值为 10

等待建立连接的超时时间（以秒为单位）。默认值为 10s

`cookies`编辑

值类型为布尔值
默认值为 true

启用 cookie 支持。启用此选项后，客户端将在请求之间持久保存 cookie，就像普通网页浏览器一样。默认情况下启用。

`ecs_compatibility`编辑

值类型为字符串
支持的值为
- disabled：在根级别添加非结构化数据
- v1：使用与 Elastic Common Schema 兼容的 error、url 和 http 字段

控制此插件与 Elastic Common Schema (ECS) 的兼容性。有关详细信息，请参阅事件元数据和 Elastic Common Schema (ECS)。

示例输出

示例输出：ECS 已禁用

{
    "http_poller_data" => {
        "@version" => "1",
        "@timestamp" => 2021-01-01T00:43:22.388Z,
        "status" => "UP"
    },
    "@version" => "1",
    "@timestamp" => 2021-01-01T00:43:22.389Z,
}

示例输出：ECS 已启用

{
    "http_poller_data" => {
        "status" => "UP",
        "@version" => "1",
        "event" => {
            "original" => "{\"status\":\"UP\"}"
        },
        "@timestamp" => 2021-01-01T00:40:59.558Z
    },
    "@version" => "1",
    "@timestamp" => 2021-01-01T00:40:59.559Z
}

示例错误输出：ECS 已启用

{
    "@timestamp" => 2021-07-09T09:53:48.721Z,
    "@version" => "1",
    "host" => {
        "hostname" => "MacBook-Pro"
    },
    "http" => {
        "request" => {
            "method" => "get"
        }
    },
    "event" => {
        "duration" => 259019
    },
    "error" => {
        "stack_trace" => nil,
        "message" => "Connection refused (Connection refused)"
    },
    "url" => {
        "full" => "https://127.0.0.1:8080/actuator/health"
    },
    "tags" => [
        [0] "_http_request_failure"
    ]
}

`follow_redirects`编辑

值类型为布尔值
默认值为 true

是否应跟踪重定向？默认值为 true

`keepalive`编辑

值类型为布尔值
默认值为 true

启用此选项以启用 HTTP keepalive 支持。我们强烈建议将 automatic_retries 设置为至少 1，以修复与损坏的 keepalive 实现的交互。

`keystore`编辑

在 5.5.0 中已弃用。

已替换为 ssl_keystore_path

值类型为路径
此设置没有默认值。

如果您需要使用自定义密钥库（.jks），请在此处指定该密钥库。这与 .pem 密钥不兼容！

`keystore_password`编辑

在 5.5.0 中已弃用。

已替换为 ssl_keystore_password

值类型为 password
此设置没有默认值。

在此指定密钥库密码。请注意，大多数使用 keytool 创建的 .jks 文件都需要密码！

`keystore_type`edit

在 5.5.0 中已弃用。

已替换为 ssl_keystore_type

值类型为字符串
默认值为 "JKS"

在此指定密钥库类型。可以是 JKS 或 PKCS12。默认值为 JKS

`metadata_target`edit

值类型为字符串
默认值为 "@metadata"

如果您想使用请求/响应元数据。将此值设置为要存储元数据嵌套哈希的字段名称。

`password`edit

值类型为 password
此设置没有默认值。

与 user 一起用于 HTTP 身份验证的密码。

`pool_max`edit

值类型为数字
默认值为 50

最大并发连接数。默认为 50

`pool_max_per_route`edit

值类型为数字
默认值为 25

对单个主机的最大并发连接数。默认为 25

`proxy`edit

值类型为字符串
此设置没有默认值。

如果您想使用 HTTP 代理。这支持多种配置语法

代理主机格式：http://proxy.org:1234
代理主机格式：{host => "proxy.org", port => 80, scheme => 'http', user => 'username@host', password => 'password'}
代理主机格式：{url => 'http://proxy.org:1234', user => 'username@host', password => 'password'}

`request_timeout`edit

值类型为数字
默认值为 60

整个请求的超时时间（以秒为单位）。

`retry_non_idempotent`edit

值类型为布尔值
默认值为 false

如果启用了 automatic_retries，这将导致非幂等 HTTP 动词（例如 POST）被重试。

`schedule`edit

值类型为 hash
此设置没有默认值。

定期从 URL 轮询的计划格式：一个哈希，其中 + 键： "cron" | "every" | "in" | "at" + 值：字符串例子： a) { "every" ⇒ "1h" } b) { "cron" ⇒ "* * * * * UTC" } 请参阅： rufus/scheduler 以了解有关不同计划选项和值字符串格式的详细信息

`socket_timeout`edit

值类型为数字
默认值为 10

等待套接字上的数据超时时间（以秒为单位）。默认为 10s

`ssl_certificate`edit

值类型为路径
此设置没有默认值。

用于对客户端进行身份验证的 SSL 证书。此证书应为 OpenSSL 风格的 X.509 证书文件。

仅当设置了 ssl_key 时才能使用此设置。

`ssl_certificate_authorities`edit

值类型为 path 的列表
此设置没有默认值

用于验证服务器证书的 .cer 或 .pem CA 文件。

`ssl_cipher_suites`edit

值类型为 string 的列表
此设置没有默认值

要使用的密码套件列表，按优先级列出。支持的密码套件因 Java 和协议版本而异。

`ssl_key`edit

值类型为路径
此设置没有默认值。

与 ssl_certificate 相对应的 OpenSSL 风格的 RSA 私钥。

仅当设置了 ssl_certificate 时才能使用此设置。

`ssl_keystore_password`edit

值类型为 password
此设置没有默认值。

设置密钥库密码

`ssl_keystore_path`edit

值类型为路径
此设置没有默认值。

用于向服务器呈现证书的密钥库。它可以是 .jks 或 .p12

`ssl_keystore_type`edit

值可以是以下任何一个：jks、pkcs12
如果未提供，则将从密钥库文件名推断出该值。

密钥库文件的格式。它必须是 jks 或 pkcs12。

`ssl_supported_protocols`edit

值类型为字符串
允许的值为：'TLSv1.1'、'TLSv1.2'、'TLSv1.3'
默认值取决于所使用的 JDK。对于最新的 Logstash，默认值为 ['TLSv1.2', 'TLSv1.3']。 'TLSv1.1' 不被认为是安全的，仅为遗留应用程序提供。

建立与 HTTP 端点连接时要使用的允许 SSL/TLS 版本列表。

对于 Java 8，'TLSv1.3' 仅从 8u262（AdoptOpenJDK）开始受支持，但要求您在 Logstash 中设置 LS_JAVA_OPTS="-Djdk.tls.client.protocols=TLSv1.3" 系统属性。

如果您将插件配置为在任何最新的 JVM（例如 Logstash 附带的 JVM）上使用 'TLSv1.1'，则该协议默认情况下处于禁用状态，需要通过更改 $JDK_HOME/conf/security/java.security 配置文件中的 jdk.tls.disabledAlgorithms 手动启用。也就是说，需要从列表中删除 TLSv1.1。

`ssl_truststore_password`edit

值类型为 password
此设置没有默认值。

设置信任库密码

`ssl_truststore_path`edit

值类型为路径
此设置没有默认值。

用于验证服务器证书的信任库。它可以是 .jks 或 .p12。

`ssl_truststore_type`edit

值可以是以下任何一个：jks、pkcs12
如果未提供，则将从信任库文件名推断出该值。

信任库文件的格式。它必须是 jks 或 pkcs12。

`ssl_verification_mode`edit

值类型为字符串
支持的值为：full、none
默认值为 full

控制服务器证书的验证。 full 选项验证提供的证书是否由受信任的颁发机构 (CA) 签署，以及服务器的主机名（或 IP 地址）是否与证书中标识的名称匹配。

none 设置不执行服务器证书的任何验证。此模式会禁用 SSL/TLS 的许多安全优势，应谨慎考虑后才使用。它主要用作尝试解决 TLS 错误时的临时诊断机制。强烈建议不要在生产环境中使用 none。

`target`edit

值类型为字符串
此设置没有默认值。

定义用于放置接收数据的目标字段。如果省略此设置，则数据将存储在事件的根（顶层）。

当启用 ECS 时，在编解码器中设置 target（如果编解码器具有 target 选项）。例如：codec => json { target => "TARGET_FIELD_NAME" }

`truststore`edit

在 5.5.0 中已弃用。

已替换为 ssl_truststore_path

值类型为路径
此设置没有默认值。

如果您需要使用自定义信任库 (.jks)，请在此指定。这与 .pem 证书不兼容！

`truststore_password`edit

在 5.5.0 中已弃用。

已替换为 ssl_truststore_password

值类型为 password
此设置没有默认值。

在此指定信任库密码。请注意，大多数使用 keytool 创建的 .jks 文件都需要密码！

`truststore_type`edit

在 5.5.0 中已弃用。

已由 ssl_truststore_type 替换。

值类型为字符串
默认值为 "JKS"

在此指定信任库类型。可以选择 JKS 或 PKCS12。默认值为 JKS。

`urls`edit

这是必需设置。
值类型为 hash
此设置没有默认值。

以以下格式表示的 URL 哈希："name" => "url"。名称和 URL 将传递到输出事件中。

urls 中的值可以是

字符串 URL（将作为 HTTP GET 发出）。
包含 Manticore 后端提供的许多有用键的子哈希
- url：字符串 URL
- method：（可选）要使用的 HTTP 方法（默认为 GET）
- user：（可选）HTTP 基本身份验证用户。用户必须位于 Manticore 的 auth 子哈希下，但此插件也接受任何方式的设置。
- password：（可选）HTTP 基本身份验证密码。密码必须位于 Manticore 的 auth 子哈希下，但此插件也接受任何方式的设置。
- headers：包含键值对的标头哈希。
- body：字符串（仅在 POST 和 PUT 请求中支持）
- 可能还有 Manticore 文档中提到的其他选项。请注意，上面未明确记录的 Manticore 选项尚未经过全面测试，因此如果我们更换后端，它们可能会以意想不到的方式中断。

注意

作为 urls 部分指定的密码容易在插件日志输出中暴露。插件不会将它们声明为密码，因此不会像我们在其他地方那样将它们包装在减少泄露的包装器中。
我们不保证像 Manticore 的 follow_redirects 这样的布尔类型选项能够正确支持。字符串 true 或 false 可能会被传递，而在 ruby 中，任何字符串都是“真值”。
我们对该插件的实现排除了将 auth[:eager] 指定为除 true 之外的任何其他值的能力。

`user`edit

值类型为字符串
此设置没有默认值。

用于所有请求的 HTTP 身份验证用户名。请注意，您也可以为每个 URL 设置此项。如果您设置了此项，则还必须设置 password 选项。

`validate_after_inactivity`edit

值类型为数字
默认值为 200

在检查过时连接以确定是否需要保持活动请求之前等待的时间。如果您经常遇到连接错误，请考虑将此值设置为低于默认值，可能设置为 0。

此客户端基于 Apache Commons 的 HTTP 实现。以下是 Apache Commons 文档对此选项的描述：“定义在将持久连接租赁给使用者之前必须重新验证的非活动时间（以毫秒为单位）。传递给此方法的非正值将禁用连接验证。此检查有助于检测在池中保持非活动状态时已变得过时的（半关闭）连接。”

通用选项edit

以下配置选项受所有输入插件支持

设置	输入类型	必需
`add_field`	哈希	否
`codec`	codec	否
`enable_metric`	布尔值	否
`id`	字符串	否
`tags`	array	否
`type`	字符串	否

详细信息edit

`add_field`edit

值类型为哈希
默认值为 {}

向事件添加字段

`codec`edit

值类型为编解码器
默认值为 "json"

用于输入数据的编解码器。输入编解码器是在数据进入输入之前对其进行解码的便捷方法，无需在 Logstash 管道中使用单独的过滤器。

`enable_metric`edit

值类型为布尔值
默认值为 true

默认情况下，我们会记录所有可能的指标，但您可以禁用特定插件的指标收集，从而禁用或启用此特定插件实例的指标日志记录。

`id`edit

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 http_poller 输入。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  http_poller {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用来自秘密存储的值。

`tags`edit

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的任意标签。

这有助于以后的处理。

`type`edit

值类型为字符串
此设置没有默认值。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发送器发送事件到索引器时），则新的输入不会覆盖现有类型。在发送器处设置的类型会一直保留在该事件中，即使发送到另一个 Logstash 服务器也是如此。

« Http 输入插件 Imap 输入插件 »

Http_poller 输入插件

Http_poller 输入插件编辑

获取帮助编辑

描述编辑

示例编辑

事件元数据和 Elastic Common Schema (ECS)编辑

Http_poller 输入配置选项编辑

automatic_retries编辑

cacert编辑

在 5.5.0 中已弃用。

client_cert编辑

在 5.5.0 中已弃用。

client_key编辑

在 5.5.0 中已弃用。

connect_timeout编辑

cookies编辑

ecs_compatibility编辑

follow_redirects编辑

keepalive编辑

keystore编辑

在 5.5.0 中已弃用。

keystore_password编辑

在 5.5.0 中已弃用。

keystore_typeedit

在 5.5.0 中已弃用。

metadata_targetedit

passwordedit

pool_maxedit

pool_max_per_routeedit

proxyedit

request_timeoutedit

retry_non_idempotentedit

scheduleedit

socket_timeoutedit

ssl_certificateedit

ssl_certificate_authoritiesedit

ssl_cipher_suitesedit

ssl_keyedit

ssl_keystore_passwordedit

ssl_keystore_pathedit

ssl_keystore_typeedit

ssl_supported_protocolsedit

ssl_truststore_passwordedit

ssl_truststore_pathedit

ssl_truststore_typeedit

ssl_verification_modeedit

targetedit

truststoreedit

在 5.5.0 中已弃用。

truststore_passwordedit

在 5.5.0 中已弃用。

truststore_typeedit

在 5.5.0 中已弃用。

urlsedit

useredit

validate_after_inactivityedit

通用选项edit

详细信息edit

add_fieldedit

codecedit

enable_metricedit

idedit

tagsedit

typeedit

`automatic_retries`编辑

`cacert`编辑

`client_cert`编辑

`client_key`编辑

`connect_timeout`编辑

`cookies`编辑

`ecs_compatibility`编辑

`follow_redirects`编辑

`keepalive`编辑

`keystore`编辑

`keystore_password`编辑

`keystore_type`edit

`metadata_target`edit

`password`edit

`pool_max`edit

`pool_max_per_route`edit

`proxy`edit

`request_timeout`edit

`retry_non_idempotent`edit

`schedule`edit

`socket_timeout`edit

`ssl_certificate`edit

`ssl_certificate_authorities`edit

`ssl_cipher_suites`edit

`ssl_key`edit

`ssl_keystore_password`edit

`ssl_keystore_path`edit

`ssl_keystore_type`edit

`ssl_supported_protocols`edit

`ssl_truststore_password`edit

`ssl_truststore_path`edit

`ssl_truststore_type`edit

`ssl_verification_mode`edit

`target`edit

`truststore`edit

`truststore_password`edit

`truststore_type`edit

`urls`edit

`user`edit

`validate_after_inactivity`edit

`add_field`edit

`codec`edit

`enable_metric`edit

`id`edit

`tags`edit

`type`edit