Elasticsearch 输入插件

使用 Elasticsearch API 密钥进行身份验证。请注意，此选项还需要启用 ssl_enabled 选项。

格式为 id:api_key，其中 id 和 api_key 由 Elasticsearch Create API key API 返回。

要信任的 SSL 证书颁发机构的 SHA-256 指纹，例如 Elasticsearch 集群的自动生成的自签名 CA。

云身份验证字符串（"<用户名>:<密码>" 格式）是 user/password 对的替代方案。

有关更多信息，请查看Logstash-to-Cloud 文档。

来自 Elastic Cloud Web 控制台的 Cloud ID。如果设置了此项，则不应使用 hosts。

有关更多信息，请查看Logstash-to-Cloud 文档。

建立与 Elasticsearch 的连接时要等待的最大时间（以秒为单位）。当 Elasticsearch 或中间代理服务器因请求过载而耗尽其连接池时，通常会发生连接超时。

如果设置，则在事件中包括 Elasticsearch 文档信息，例如索引、类型和 ID。

关于元数据，需要注意的是，如果您正在提取文档以重新索引它们（或只是更新它们），则 elasticsearch 输出中的 action 选项需要知道如何处理这些事情。可以使用添加到元数据的字段动态分配它。

示例

    input {
      elasticsearch {
        hosts => "es.production.mysite.org"
        index => "mydata-2018.09.*"
        query => '{ "query": { "query_string": { "query": "*" } } }'
        size => 500
        scroll => "5m"
        docinfo => true
        docinfo_target => "[@metadata][doc]"
      }
    }
    output {
      elasticsearch {
        index => "copy-of-production.%{[@metadata][doc][_index]}"
        document_type => "%{[@metadata][doc][_type]}"
        document_id => "%{[@metadata][doc][_id]}"
      }
    }

如果设置，您可以在 add_field 通用选项中使用元数据信息。

示例

    input {
      elasticsearch {
        docinfo => true
        docinfo_target => "[@metadata][doc]"
        add_field => {
          identifier => "%{[@metadata][doc][_index]}:%{[@metadata][doc][_type]}:%{[@metadata][doc][_id]}"
        }
      }
    }

如果通过启用 docinfo 选项请求文档元数据存储，则此选项列出要保存在当前事件中的元数据字段。有关更多信息，请参阅 Elasticsearch 文档中的元字段。

如果通过启用 docinfo 选项请求文档元数据存储，则此选项命名将元数据字段存储为子字段的字段。

控制此插件与Elastic Common Schema (ECS)的兼容性。

用于查询的一个或多个 Elasticsearch 主机列表。每个主机可以是 IP、HOST、IP:port 或 HOST:port。端口默认为 9200。

要搜索的索引或别名。有关引用多个索引的信息，请查看 Elasticsearch 文档中的多索引文档。

与 user 选项中的用户名一起使用，以便在向 Elasticsearch 服务器进行身份验证时使用的密码。如果设置为空字符串，则将禁用身份验证。

设置转发 HTTP 代理的地址。空字符串被视为未设置代理，这在使用环境变量（例如 proxy => '${LS_PROXY:}'）时非常有用。

要执行的查询。阅读Elasticsearch 查询 DSL 文档了解更多信息。

当 search_api 解析为 search_after 且查询未指定 sort 时，默认排序 '{ "sort": { "_shard_doc": "asc" } }' 将添加到查询中。请参考Elasticsearch search_after参数了解更多信息。

在处理查询响应时，将结果的哪一部分转换为 Logstash 事件。默认的 hits 将为每个返回的文档（即“hit”）生成一个事件。当设置为 aggregations 时，将生成一个 Logstash 事件，其中包含查询响应的 aggregations 对象的内容。在这种情况下，hits 对象将被忽略。无论此插件中设置的默认值还是用户定义的值如何，参数 size 将始终设置为 0。

单个请求发送到 Elasticsearch 的最大时间（以秒为单位）。当单个数据页非常大时，例如当它包含大型负载文档和/或 size 被指定为较大的值时，往往会发生请求超时。

第一次失败后重新运行查询的次数。如果所有重试后查询仍然失败，则会记录错误消息。默认值为 0（不重试）。该值应大于或等于零。

定期运行语句的时间表，使用 Cron 格式，例如：“* * * * *”（每分钟执行一次查询，在整分钟时执行）

默认情况下没有时间表。如果没有给出时间表，则该语句只运行一次。

此参数控制滚动请求的保持活动时间（以秒为单位）并启动滚动过程。超时时间适用于每次往返（即，从上一个滚动请求到下一个滚动请求之间）。

当设置为 auto 时，对于 Elasticsearch 版本 8.0.0 或更高版本，插件将使用 search_after 参数，否则将使用 scroll API。

search_after 使用 时间点 和排序值进行搜索。如 query 参数中所述，查询至少需要一个 sort 字段。

scroll 使用 scroll API 进行搜索，不再推荐使用。

这允许您设置每个滚动返回的最大命中数。

在某些情况下，通过使用 切片滚动 同时使用多个不同的查询切片，可以提高整体吞吐量，尤其是在管道花费大量时间等待 Elasticsearch 提供结果时。

如果设置了 slices 参数，则该参数会告诉插件将工作划分为多少个切片，并且将并行生成切片的事件，直到所有切片都完成滚动为止。

如果 slices 参数未设置，则插件将不会将切片指令注入到查询中。

用于对客户端进行身份验证的 SSL 证书。此证书应为 OpenSSL 样式的 X.509 证书文件。

用于验证服务器证书的 .cer 或 .pem 文件。

要使用的密码套件列表，按优先级排列。支持的密码套件因 Java 和协议版本而异。

启用与 Elasticsearch 集群的 SSL/TLS 安全通信。不指定此项将使用在 hosts 中列出的 URL 中指定的方案，或者从 cloud_id 中提取的方案。如果没有指定显式协议，则将使用纯 HTTP。

与 ssl_certificate 对应的 OpenSSL 样式的 RSA 私钥。

设置密钥库密码

用于向服务器提供证书的密钥库。它可以是 .jks 或 .p12

密钥库文件的格式。它必须是 jks 或 pkcs12。

在建立与 Elasticsearch 集群的连接时要使用的允许的 SSL/TLS 版本列表。

对于 Java 8，只有从 8u262 (AdoptOpenJDK) 开始才支持 'TLSv1.3'，但需要您在 Logstash 中设置 LS_JAVA_OPTS="-Djdk.tls.client.protocols=TLSv1.3" 系统属性。

设置信任存储密码。

用于验证服务器证书的信任存储。它可以是 .jks 或 .p12。

信任存储文件的格式。它必须是 jks 或 pkcs12。

定义如何验证 TLS 连接中另一方提供的证书

full 验证服务器证书是否具有在 not_before 和 not_after 日期内的颁发日期；链接到受信任的证书颁发机构 (CA)，并且具有与证书内的名称匹配的主机名或 IP 地址。

none 不执行证书验证。

在没有附加数据的情况下，等待 Elasticsearch 的不完整响应的最大时间（以秒为单位）。套接字超时通常发生在等待响应的第一个字节时，例如在执行特别复杂的查询时。

如果没有 target，则会从每个命中的 _source 在根级别创建事件。当 target 设置为字段引用时，命中的 _source 将放置在目标字段中。

当强制执行下游架构（例如 ECS）时，此选项对于避免填充未知字段非常有用。也可以将事件的元数据中的条目作为目标，该条目在事件处理期间可用，但不会导出到您的输出（例如，target => "[@metadata][_source]"）。

在对 Elasticsearch 服务器进行身份验证时，与 password 选项中的密码一起使用的用户名。如果设置为空字符串，则将禁用身份验证。

PEM 编码格式的 SSL 证书授权文件，必须包含任何必要的链式证书。

如果启用，则在与 Elasticsearch 服务器通信时将使用 SSL（即，将使用 HTTPS 而不是普通的 HTTP）。

用于验证服务器证书的选项。禁用此选项会严重损害安全性。当禁用证书验证时，此插件会隐式信任给定地址解析的计算机，而不验证其身份证明。在这种情况下，插件可能会将凭据传输到不可信的中间人或其他受损的基础设施，或从中处理数据。有关证书验证重要性的更多信息：https://www.cs.utexas.edu/~shmat/shmat_ccs12.pdf。

向事件添加一个字段

用于输入数据的编解码器。输入编解码器是一种方便的方法，可以在数据进入输入之前对其进行解码，而无需在 Logstash 管道中使用单独的过滤器。

默认情况下，禁用或启用此特定插件实例的指标日志记录。我们默认记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

向插件配置添加一个唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在配置中设置此 ID。当您有两个或多个相同类型的插件时，这特别有用，例如，如果您有两个 Elasticsearch 输入。在这种情况下添加命名的 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  elasticsearch {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的标签。

这有助于后续处理。

向此输入处理的所有事件添加一个 type 字段。

类型主要用于过滤器激活。

该类型存储为事件本身的一部分，因此您也可以使用该类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您将事件从 shipper 发送到 indexer 时），则新的输入将不会覆盖现有类型。在 shipper 上设置的类型会随着该事件的生命周期保持不变，即使发送到另一个 Logstash 服务器也是如此。