HTTP JSON 输入

httpjson 输入在请求之间保持运行时状态。此状态可以通过某些配置选项和转换进行访问。

该状态具有以下元素

所有提到的对象仅在定期请求执行期间在运行时存储，cursor 除外，它包含在定期请求和重新启动之间持久化的值。

转换是一种允许用户修改 输入状态 的操作。根据定义转换的位置，它将具有读取或写入 状态 不同元素的权限。

访问限制在相应的配置部分中描述。

append编辑

将值追加到数组。如果该字段不存在，则第一个条目将创建一个新数组。如果该字段存在，则将该值追加到现有字段并转换为列表。

- append:
    target: body.foo.bar
    value: '[[.cursor.baz]]'
    default: "a default value"

delete编辑

删除目标字段。

- delete:
    target: body.foo.bar

set编辑

设置一个值。

- set:
    target: body.foo.bar
    value: '[[.cursor.baz]]'
    default: "a default value"

某些配置选项和转换可以使用值模板。值模板是 Go 模板，可以访问输入状态和一些内置函数。请注意，分隔符已从默认的 {{ }} 更改为 [[ ]]，以提高与其他模板机制的互操作性。

要查看哪些 状态元素 和操作可用，请参阅您要使用值模板的选项或 转换 的文档。

值模板如下所示

- set:
    target: body.foo.bar
    value: '[[.cursor.baz]] more data'
    default: "a default value"

将评估括号 [[ ]] 内的内容。有关 Go 模板的更多信息，请参阅 Go 文档。

提供了一些内置帮助器函数，用于在值模板中使用输入状态

除了提供的函数之外，任何用于 time.Time、http.Header 和 url.Values 类型的原生函数都可以用于相应的对象。示例：[[(now).Day]]、[[.last_response.header.Get "key"]]

httpjson 输入支持以下配置选项以及稍后描述的通用选项。

interval编辑

重复请求之间的持续时间。如果启用了分页，它可能会根据初始请求发出额外的分页请求。默认值：60 秒。

auth.basic.enabled编辑

设置为 false 时，禁用基本身份验证配置。默认值：true。

auth.basic.user编辑

要进行身份验证的用户。

auth.basic.password编辑

要使用的密码。

auth.oauth2.enabled编辑

设置为 false 时，禁用 oauth2 配置。默认值：true。

auth.oauth2.provider编辑

用于配置受支持的 oauth2 提供程序。每个受支持的提供程序都需要特定的设置。默认情况下未设置。受支持的提供程序有：azure、google、okta。

auth.oauth2.client.id编辑

在身份验证流程中用作客户端 ID。除了使用 google 作为提供程序外，始终需要它。提供程序必需：default、azure、okta。

auth.oauth2.client.secret编辑

在身份验证流程中用作客户端密钥。除了使用 google 或 okta 作为提供程序外，始终需要它。提供程序必需：default、azure。

auth.oauth2.user编辑

在身份验证流程中用作用户的用户。身份验证需要它 - 授权类型密码。它仅适用于提供程序 default。

auth.oauth2.password编辑

在身份验证流程中用作密码的密码。身份验证需要它 - 授权类型密码。它仅适用于提供程序 default。

auth.oauth2.scopes编辑

oauth2 流程中将请求的作用域列表。对于所有提供程序，它都是可选的。

auth.oauth2.token_url编辑

在 oauth2 流程中将用于生成令牌的端点。如果没有指定提供程序，则需要它。

auth.oauth2.endpoint_params编辑

将在每次请求中发送到 token_url 的值集。每个参数键可以有多个值。可以为除 google 之外的所有提供程序设置。

- type: httpjson
  auth.oauth2:
    endpoint_params:
      Param1:
        - ValueA
        - ValueB
      Param2:
        - Value

auth.oauth2.azure.tenant_id编辑

使用 azure 提供程序进行身份验证时使用。由于它用于生成 token_url 的过程中，因此不能与它一起使用。它不是必需的。

有关在哪里可以找到它的信息，请参阅 https://docs.microsoft.com/en-us/azure/active-directory/develop/howto-create-service-principal-portal。

auth.oauth2.azure.resource编辑

使用 azure 提供程序时访问的 WebAPI 资源。它不是必需的。

auth.oauth2.google.credentials_file编辑

Google 的凭据文件。

auth.oauth2.google.credentials_json编辑

您的凭据信息以原始 JSON 格式提供。

auth.oauth2.google.jwt_file编辑

Google 的 JWT 帐号密钥文件。

auth.oauth2.google.jwt_json编辑

JWT 帐号密钥文件以原始 JSON 格式提供。

auth.oauth2.okta.jwk_file编辑

您的 Okta 服务应用程序的 RSA JWK 私钥文件，用于与 Okta 组织身份验证服务器交互以使用 okta.* 范围生成令牌。

auth.oauth2.okta.jwk_json编辑

您的 Okta 服务应用程序的 RSA JWK 私钥 JSON，用于与 Okta 组织身份验证服务器交互以使用 okta.* 范围生成令牌。

auth.oauth2.okta.jwk_pem编辑

您的 Okta 服务应用程序的 RSA JWK 私钥 PEM 块，用于与 Okta 组织身份验证服务器交互以使用 okta.* 范围生成令牌。

auth.oauth2.google.delegated_account编辑

用于创建凭据的委派帐户的电子邮件地址（通常是管理员）。与 auth.oauth2.google.jwt_file、auth.oauth2.google.jwt_json 结合使用，并在默认使用 ADC 时使用。

request.url编辑

HTTP API 的 URL。必需。

可以通过在 URL 方案中添加 +unix 或 +npipe 来通过 Unix 套接字和 Windows 命名管道访问 API 端点，例如 http+unix:///var/socket/。

request.method编辑

发出请求时使用的 HTTP 方法。选项包括 GET 或 POST。默认值：GET。

request.encode_as编辑

用于编码请求正文的 ContentType。如果设置，它将强制以指定的格式进行编码，而不管 Content-Type 标头值是什么，否则它将尽可能遵循该值或回退到 application/json。默认情况下，请求使用 Content-Type: application/json 发送。支持的值：application/json 和 application/x-www-form-urlencoded。application/x-www-form-urlencoded 将对 url.params 进行 URL 编码，并将它们设置为正文。默认情况下不设置。

request.body编辑

可选的 HTTP POST 正文。配置值必须是一个对象，它将被编码为 JSON。这仅在 request.method 为 POST 时有效。默认为 null（无 HTTP 正文）。

- type: httpjson
  request.method: POST
  request.body:
    query:
      bool:
        filter:
          term:
            type: authentication

request.timeout编辑

在声明 HTTP 客户端连接超时之前的持续时间。有效的时间单位为 ns、us、ms、s、m、h。默认值：30s。

request.ssl编辑

这指定了 SSL/TLS 配置。如果缺少 ssl 部分，则主机的 CA 将用于 HTTPS 连接。有关更多信息，请参阅 SSL。

request.proxy_url编辑

这以 http[s]://<user>:<password>@<server name/ip>:<port> 的形式指定代理配置

filebeat.inputs:
# Fetch your public IP every minute.
- type: httpjson
  interval: 1m
  request.url: https://api.ipify.org/?format=json
  request.proxy_url: http://proxy.example:8080

request.keep_alive.disable编辑

这指定是否禁用 HTTP 端点的 keep-alive。默认值：true。

request.keep_alive.max_idle_connections编辑

所有主机上的最大空闲连接数。零表示没有限制。默认值：0。

request.keep_alive.max_idle_connections_per_host编辑

每个主机保持的最大空闲连接数。如果为零，则默认为 2。默认值：0。

request.keep_alive.idle_connection_timeout编辑

空闲连接在关闭自身之前保持空闲状态的最长时间。有效的时间单位为 ns、us、ms、s、m、h。零表示没有限制。默认值：0s。

request.retry.max_attempts编辑

HTTP 客户端的最大重试次数。默认值：5。

request.retry.wait_min编辑

尝试重试之前的最短等待时间。默认值：1s。

request.retry.wait_max编辑

尝试重试之前的最长等待时间。默认值：60s。

request.redirect.forward_headers编辑

设置为 true 时，如果发生重定向，则转发请求标头。默认值：false。

request.redirect.headers_ban_list编辑

当 redirect.forward_headers 设置为 true 时，将转发除本列表中定义的标头之外的所有标头。默认值：[]。

request.redirect.max_redirects编辑

请求要遵循的最大重定向次数。默认值：10。

request.rate_limit.limit编辑

指定总限制的响应值。它使用 Go 模板值定义。可以从以下位置读取状态：[.last_response.header]

request.rate_limit.remaining编辑

指定速率限制剩余配额的响应值。它使用 Go 模板值定义。可以从以下位置读取状态：[.last_response.header] 如果响应中缺少 remaining 标头，则不会进行速率限制。

request.rate_limit.reset编辑

指定速率限制何时重置的纪元时间的响应值。它使用 Go 模板值定义。可以从以下位置读取状态：[.last_response.header]

request.rate_limit.early_limit编辑

（可选）在响应中指定的值之前开始速率限制。

在默认行为下，当 remaining 值不为零时，请求将继续。指定 early_limit 意味着将在达到 0 之前进行速率限制。

默认情况下不设置它（默认情况下遵循响应中指定的速率限制）。

request.transforms编辑

在每次执行之前应用于请求的转换列表。

可用于请求的转换：[append、delete、set]。

可以从以下位置读取状态：[.first_response.*、.last_response.*、.parent_last_response.* .last_event.*、.cursor.*、.header.*、.url.*、.body.*]。

可以将状态写入：[body.*、header.*、url.*]。

filebeat.inputs:
- type: httpjson
  request.url: https://127.0.0.1:9200/_search?scroll=5m
  request.method: POST
  request.transforms:
    - set:
        target: body.from
        value: '[[now (parseDuration "-1h")]]'

示例配置

  filebeat.inputs:
  - type: httpjson
    enabled: true
    id: my-httpjson-id
    request.url: http://xyz.com/services/data/v1.0/export_ids/page
    request.method: POST
    interval: 1h
    request.retry.max_attempts: 2
    request.retry.wait_min: 5s
    request.transforms:
    - set:
        target: body.page
        value: 0
    response.request_body_on_pagination: true
    response.pagination:
      - set:
          target: body.page
          value: '[[ .last_response.body.page ]]'
          fail_on_template_error: true
    chain:
    - step:
          request.url: http://xyz.com/services/data/v1.0/$.exportId/export_ids/$.files[:].id/info
          request.method: POST
          request.transforms:
          - set:
              target: body.exportId
              value: '[[ .parent_last_response.body.exportId ]]'
          replace: $.files[:].id
          replace_with: '$.exportId,.parent_last_response.body.exportId'

在这里我们可以看到，链式步骤仅在父（根）请求存在 response.pagination 时才使用 .parent_last_response.body.exportId。但是，如果父（根）请求中不存在 response.pagination，则 replace_with 子句应该使用 .first_response.body.exportId。这是因为当父级不存在分页时，parent_last_response 对象不会填充所需的值以提高性能，但 first_response 对象始终存储进程链中的第一个响应。

request.tracer.filename编辑

可以将 httpjson 请求和响应记录到本地文件系统以调试配置。可以通过设置 request.tracer.filename 值来启用此选项。还有其他选项可用于调整日志轮换行为。

为了区分从不同输入实例生成的跟踪文件，可以在文件名中添加占位符 *，并将其替换为输入实例 ID。例如，http-request-trace-*.ndjson。

启用此选项会危及安全性，因此仅应用于调试。

request.tracer.maxsize编辑

此值设置日志文件在轮换之前达到的最大大小（以兆字节为单位）。默认情况下，日志文件允许达到 1MB 后再进行轮换。

request.tracer.maxage编辑

这指定要保留轮换日志文件的天数。如果未设置，则无限期保留日志文件。

request.tracer.maxbackups编辑

要保留的旧日志数。如果未设置，则根据 request.tracer.maxage 设置保留所有旧日志。

request.tracer.localtime编辑

是使用主机的本地时间还是使用 UTC 时间为轮换后的日志文件名添加时间戳。

request.tracer.compress编辑

这决定是否应 gzip 压缩轮换的日志。

response.decode_as编辑

用于解码响应主体的 ContentType。如果设置，它将强制以指定的格式进行解码，而不管 Content-Type 标头值如何，否则它将在可能的情况下遵循它或回退到 application/json。支持的值：application/json、application/x-ndjson、text/csv、application/zip、application/xml 和 text/xml。默认情况下不设置。

response.xsd编辑

XML 文档可能需要额外的类型信息才能进行正确的解析和提取。可以使用 response.xsd 选项将此信息作为文档的 XML 模式定义 (XSD) 提供。

response.transforms编辑

收到响应后要应用的转换列表。

可用于响应的转换：[append、delete、set]。

可以从以下位置读取状态：[.last_response.*、.last_event.*、.cursor.*、.header.*、.url.*]。

可以将状态写入：[body.*]。

filebeat.inputs:
- type: httpjson
  request.url: https://127.0.0.1:9200/_search?scroll=5m
  request.method: POST
  response.transforms:
    - delete:
        target: body.very_confidential
  response.split:
    target: body.hits.hits
  response.pagination:
    - set:
        target: url.value
        value: https://127.0.0.1:9200/_search/scroll
    - set:
        target: url.params.scroll_id
        value: '[[.last_response.body._scroll_id]]'
    - set:
        target: body.scroll
        value: 5m

response.split编辑

在收到响应后应用于响应的拆分操作。拆分可以将映射、数组或字符串转换为多个事件。如果拆分目标为空，则将保留父文档。如果应删除具有空拆分的文档，则应将 ignore_empty_value 选项设置为 true。

response.split[].target编辑

定义将执行拆分操作的目标字段。

response.split[].type编辑

定义目标的字段类型。允许的值：array、map、string。string 需要使用 delimiter 选项来指定用于拆分字符串的字符。delimiter 的行为始终如同将 keep_parent 设置为 true。默认值：array。

response.split[].transforms编辑

可以定义一组转换。此列表将在 response.transforms 之后以及根据 response.split[].keep_parent 和 response.split[].key_field 修改对象之后应用。

可用于响应的转换：[append、delete、set]。

可以从以下位置读取状态：[.last_response.*、.first_event.*、.last_event.*、.cursor.*、.header.*、.url.*]。

可以将状态写入：[body.*]。

response.split[].keep_parent编辑

如果设置为 true，则将保留来自父文档（与 target 处于同一级别）的字段。否则，将使用 target 作为根创建一个新文档。默认值：false。

response.split[].delimiter编辑

在使用 string 拆分类型时需要。这是用于拆分字符串的子字符串。例如，如果 delimiter 为“\n”，而字符串为“第 1 行\n第 2 行”，则拆分后的结果为“第 1 行”和“第 2 行”。

response.split[].key_field编辑

与 type: map 一起使用时有效。当不为空时，定义一个新字段，用于存储原始键值。

response.split[].ignore_empty_value编辑

如果设置为 true，则忽略空值或缺失值，处理将传递到下一个嵌套拆分操作，而不是因错误而失败。默认值：false。

response.split[].split编辑

嵌套拆分操作。拆分操作可以随意嵌套。在应用最深的拆分操作之前，不会创建事件。

response.request_body_on_pagination编辑

如果设置为 true，则 request.body 中的值将用于分页请求。默认值：false。

response.pagination编辑

将应用于每个新页面请求的响应的转换列表。将执行 request.transform 中的所有转换，然后添加 response.pagination 以根据需要修改下一个请求。对于后续响应，将正常执行通常的 response.transforms 和 response.split。

可用于分页的转换：[append、delete、set]。

可以从以下位置读取状态：[.last_response.*、.first_event.*、.last_event.*、.cursor.*、.header.*、.url.*、.body.*]。

可以将状态写入：[body.*、header.*、url.*]。

使用拆分的示例

chain编辑

链是在第一个请求之后要进行的一系列请求。

chain[].step编辑

包含链式调用的基本请求和响应配置。

chain[].step.request编辑

请参阅 请求参数。需要。

示例

第一次调用：https://example.com/services/data/v1.0/

第二次调用：https://example.com/services/data/v1.0/1/export_ids

第三次调用：https://example.com/services/data/v1.0/export_ids/file_1/info

chain[].step.response.split编辑

请参阅 响应拆分参数。

+

chain[].step.replace编辑

一个 JSONPath 字符串，用于解析从响应 JSON 中解析的值，这些值是从先前的链步骤中收集的。在 URL 中放置相同的替换字符串，其中应放置从先前调用中收集的值。需要。

示例

filebeat.inputs:
- type: httpjson
  enabled: true
  # first call
  request.url: https://example.com/services/data/v1.0/records
  interval: 1h
  chain:
    # second call
    - step:
        request.url: https://example.com/services/data/v1.0/$.records[:].id/export_ids
        request.method: GET
        replace: $.records[:].id
    # third call
    - step:
        request.url: https://example.com/services/data/v1.0/export_ids/$.file_name/info
        request.method: GET
        replace: $.file_name

示例

filebeat.inputs:
- type: httpjson
  enabled: true
  # first call
  request.url: https://example.com/services/data/v1.0/records
  interval: 1h
  chain:
    # second call
    - step:
        request.url: placeholder:$.records[:]
        request.method: GET
        replace: $.records[:]
    # third call
    - step:
        request.url: placeholder:$.file_name
        request.method: GET
        replace: $.file_name

+

chain[].step.replace_with编辑

replace_with: "pattern,value" 子句用于将 request.url 中定义的固定模式字符串替换为给定值。固定模式必须具有 $. 前缀，例如：$.xyz。value 可以是硬编码的，也可以从上下文变量中提取，例如 [.last_response.*、.first_response.*、.parent_last_response.*] 等。replace_with 子句可以与 replace 子句结合使用，从而在链请求的逻辑中提供很大的灵活性。

示例

filebeat.inputs:
- type: httpjson
  enabled: true
  # first call
  request.url: https://example.com/services/data/v1.0/exports
  interval: 1h
  chain:
    # second call
    - step:
        request.url: https://example.com/services/data/v1.0/$.exportId/files
        request.method: GET
        replace_with: '$.exportId,.first_response.body.exportId'

示例

要记住的一些有用要点：-

chain[].while编辑

包含链式 while 调用的基本请求和响应配置。链式 while 调用将继续发出给定次数的请求，直到满足条件或达到最大尝试次数。while 链具有一个属性 until，该属性保存要评估的表达式。理想情况下，until 字段应始终与属性 request.retry.max_attempts 和 request.retry.wait_min 一起使用，它们指定在放弃之前评估 until 的最大尝试次数以及此类请求之间的最大等待时间。如果未指定 request.retry.max_attempts，它将仅尝试评估表达式一次，如果失败则放弃。如果未指定 request.retry.wait_min，则默认等待时间将始终为 0，因为将立即进行连续调用。

chain[].while.request编辑

请参阅 请求参数 。

示例

第一次调用：http://example.com/services/data/v1.0/exports

第二次调用：http://example.com/services/data/v1.0/9ef0e6a5/export_ids/status

第三次调用：http://example.com/services/data/v1.0/export_ids/1/info

chain[].while.response.split编辑

请参阅 响应拆分参数 。

chain[].while.replace编辑

请参阅 chain[].step.replace 。

示例

filebeat.inputs:
- type: httpjson
  enabled: true
  # first call
  id: my-httpjson-id
  request.url: http://example.com/services/data/v1.0/exports
  interval: 1h
  chain:
    # second call
    - while:
        request.url: http://example.com/services/data/v1.0/$.exportId/export_ids/status
        request.method: GET
        replace: $.exportId
        until: '[[ eq .last_response.body.status "completed" ]]'
        request.retry.max_attempts: 5
        request.retry.wait_min: 5s
    # third call
    - step:
        request.url: http://example.com/services/data/v1.0/export_ids/$.files[:].id/info
        request.method: GET
        replace: $.files[:].id

示例

filebeat.inputs:
- type: httpjson
  enabled: true
  # first call
  id: my-httpjson-id
  request.url: http://example.com/services/data/v1.0/exports
  interval: 1h
  chain:
    # second call
    - while:
        request.url: placeholder:$.exportId
        request.method: GET
        replace: $.exportId
        until: '[[ eq .last_response.body.status "completed" ]]'
        request.retry.max_attempts: 5
        request.retry.wait_min: 5s
    # third call
    - step:
        request.url: placeholder:$.files[:]
        request.method: GET
        replace: $.files[:]

chain[].while.replace_with编辑

请参阅 chain[].step.replace_with。

cursor编辑

游标是一个键值对象列表，其中定义了任意值。这些值被解释为 值模板，并且可以设置默认模板。游标状态在输入重新启动之间保持，并在发布请求的所有事件后更新。

每个游标条目由以下内容构成

可以从以下位置读取状态：[.last_response.*、.first_event.*、.last_event.*]。

filebeat.inputs:
- type: httpjson
  interval: 1m
  request.url: https://api.ipify.org/?format=json
  response.transforms:
    - set:
        target: body.last_requested_at
        value: '[[.cursor.last_requested_at]]'
        default: "[[now]]"
  cursor:
    last_requested_at:
      value: '[[now]]'
  processors:
    - decode_json_fields:
        fields: ["message"]
        target: "json"

指标编辑

此输入在 HTTP 监控端点 下公开指标。这些指标在 /inputs 路径下公开。它们可用于观察输入的活动。

以下配置选项受所有输入支持。

enabled编辑

使用 enabled 选项启用和禁用输入。默认情况下，enabled 设置为 true。

tags编辑

Filebeat 包含在每个已发布事件的 tags 字段中的标记列表。标记可以轻松地在 Kibana 中选择特定事件或在 Logstash 中应用条件过滤。这些标记将附加到常规配置中指定的标记列表中。

示例

filebeat.inputs:
- type: httpjson
  . . .
  tags: ["json"]

fields编辑

您可以指定可选字段，以向输出添加其他信息。例如，您可以添加可用于过滤日志数据的字段。字段可以是标量值、数组、字典或这些的任何嵌套组合。默认情况下，您在此处指定的字段将分组在输出文档中的 fields 子字典下。要将自定义字段存储为顶级字段，请将 fields_under_root 选项设置为 true。如果在常规配置中声明了重复字段，则其值将被此处声明的值覆盖。

filebeat.inputs:
- type: httpjson
  . . .
  fields:
    app_id: query_engine_12

fields_under_root编辑

如果此选项设置为 true，则自定义 字段 将作为顶级字段存储在输出文档中，而不是分组在 fields 子字典下。如果自定义字段名称与 Filebeat 添加的其他字段名称冲突，则自定义字段将覆盖其他字段。

processors编辑

要应用于输入数据的处理器列表。

有关在配置中指定处理器的信息，请参阅 处理器。

pipeline编辑

要为此输入生成的事件设置的提取管道 ID。

keep_null编辑

如果此选项设置为 true，则值为 null 的字段将在输出文档中发布。默认情况下，keep_null 设置为 false。

index编辑

如果存在，则此格式字符串将覆盖此输入事件的索引（对于 elasticsearch 输出），或设置事件元数据的 raw_index 字段（对于其他输出）。此字符串只能引用代理名称和版本以及事件时间戳；要访问动态字段，请使用 output.elasticsearch.index 或处理器。

示例值："%{[agent.name]}-myindex-%{+yyyy.MM.dd}" 可能会扩展为 "filebeat-myindex-2019.11.01"。

publisher_pipeline.disable_host编辑

默认情况下，所有事件都包含 host.name。可以将此选项设置为 true 以禁用将此字段添加到所有事件。默认值为 false。