Elasticsearch 输入插件

使用 Elasticsearch API 密钥进行身份验证。请注意，此选项还需要启用 ssl_enabled 选项。

格式为 id:api_key，其中 id 和 api_key 与 Elasticsearch 创建 API 密钥 API 返回的值相同。

要信任的 SSL 证书颁发机构的 SHA-256 指纹，例如 Elasticsearch 集群的自动生成的自签名 CA。

云身份验证字符串（“<用户名>:<密码>” 格式）是 user/password 对的替代方案。

有关更多信息，请查看 Logstash 到云文档。

来自 Elastic Cloud Web 控制台的云 ID。如果设置了 hosts，则不应使用。

有关更多信息，请查看 Logstash 到云文档。

建立与 Elasticsearch 的连接时要等待的最长时间（以秒为单位）。当 Elasticsearch 或中间代理被请求淹没并耗尽其连接池时，往往会出现连接超时。

如果设置，则在事件中包含 Elasticsearch 文档信息，例如索引、类型和 ID。

关于元数据，需要注意的是，如果您要摄取文档是为了重新索引它们（或只是更新它们），则 elasticsearch 输出中的 action 选项需要知道如何处理这些事情。可以使用添加到元数据的字段动态分配它。

示例

    input {
      elasticsearch {
        hosts => "es.production.mysite.org"
        index => "mydata-2018.09.*"
        query => '{ "query": { "query_string": { "query": "*" } } }'
        size => 500
        scroll => "5m"
        docinfo => true
        docinfo_target => "[@metadata][doc]"
      }
    }
    output {
      elasticsearch {
        index => "copy-of-production.%{[@metadata][doc][_index]}"
        document_type => "%{[@metadata][doc][_type]}"
        document_id => "%{[@metadata][doc][_id]}"
      }
    }

如果设置，则可以在 add_field 常见选项中使用元数据信息。

示例

    input {
      elasticsearch {
        docinfo => true
        docinfo_target => "[@metadata][doc]"
        add_field => {
          identifier => "%{[@metadata][doc][_index]}:%{[@metadata][doc][_type]}:%{[@metadata][doc][_id]}"
        }
      }
    }

如果通过启用 docinfo 选项请求文档元数据存储，则此选项列出要保存在当前事件中的元数据字段。有关更多信息，请参见 Elasticsearch 文档中的 元字段。

如果通过启用 docinfo 选项请求文档元数据存储，则此选项命名存储元数据字段作为子字段的字段。

控制此插件与 Elastic Common Schema (ECS) 的兼容性。

要用于查询的一个或多个 Elasticsearch 主机的列表。每个主机可以是 IP、HOST、IP:port 或 HOST:port。端口默认为 9200。

要搜索的索引或别名。有关引用多个索引的信息，请查看 Elasticsearch 文档中的 多索引文档。

在对 Elasticsearch 服务器进行身份验证时，与 user 选项中的用户名一起使用的密码。如果设置为空字符串，则身份验证将被禁用。

设置转发 HTTP 代理的地址。空字符串被视为未设置代理，这在使用环境变量时很有用，例如 proxy => '${LS_PROXY:}'。

要执行的查询。阅读 Elasticsearch 查询 DSL 文档 以获取更多信息。

当 search_api 解析为 search_after 且查询未指定 sort 时，默认排序 '{ "sort": { "_shard_doc": "asc" } }' 将添加到查询中。请参阅 Elasticsearch search_after 参数以了解更多信息。

在处理查询的响应时，将结果的哪一部分转换为 Logstash 事件。默认的 hits 将为每个返回的文档（即“命中”）生成一个事件。当设置为 aggregations 时，将生成一个包含查询响应的 aggregations 对象内容的 Logstash 事件。在这种情况下，将忽略 hits 对象。参数 size 将始终设置为 0，无论在此插件中设置的默认值或用户定义值如何。

单个 Elasticsearch 请求的最长时间（以秒为单位）。当单个数据页面非常大时，例如包含大型有效载荷文档和/或 size 已指定为较大值时，往往会出现请求超时。

第一次失败后重新运行查询的次数。如果查询在所有重试后都失败，则会记录错误消息。默认为 0（不重试）。此值应等于或大于零。

定期运行语句的时间安排，以 Cron 格式表示，例如：“* * * * *”（每分钟执行一次查询，在分钟开始时）

默认情况下没有计划。如果未提供计划，则语句将精确运行一次。

此参数控制滚动请求的保持活动时间（以秒为单位），并启动滚动过程。超时适用于每次往返（即，从之前的滚动请求到下一个请求）。

使用 auto，插件将对 Elasticsearch 版本 8.0.0 或更高版本使用 search_after 参数，否则将改为使用 scroll API。

search_after 使用 时间点 和排序值进行搜索。查询至少需要一个 sort 字段，如 query 参数中所述。

scroll 使用 scroll API 进行搜索，此方法不再推荐。

这允许您设置每次滚动返回的最大命中数。

在某些情况下，可以通过同时使用 切片滚动 使用查询的多个不同切片来提高整体吞吐量，尤其是在管道花费大量时间等待 Elasticsearch 提供结果时。

如果设置，slices 参数会告诉插件将工作分成多少个切片，并将并行生成来自这些切片的事件，直到所有切片都完成滚动。

如果未设置 slices 参数，则插件不会将切片指令注入查询中。

用于对客户端进行身份验证的 SSL 证书。此证书应为 OpenSSL 样式的 X.509 证书文件。

用于验证服务器证书的 .cer 或 .pem 文件。

要使用的密码套件列表，按优先级列出。支持的密码套件因 Java 和协议版本而异。

启用到 Elasticsearch 集群的安全 SSL/TLS 通信。不指定此选项将使用在 hosts 中列出的 URL 中指定的或从 cloud_id 中提取的任何方案。如果未指定明确的协议，则将使用纯 HTTP。

与 ssl_certificate 相对应的 OpenSSL 样式的 RSA 私钥。

设置密钥库密码

用于向服务器呈现证书的密钥库。它可以是 .jks 或 .p12

密钥库文件的格式。它必须是 jks 或 pkcs12。

在与 Elasticsearch 集群建立连接时要使用的允许的 SSL/TLS 版本列表。

对于 Java 8，'TLSv1.3' 仅从 8u262（AdoptOpenJDK）开始受支持，但需要您在 Logstash 中设置 LS_JAVA_OPTS="-Djdk.tls.client.protocols=TLSv1.3" 系统属性。

设置信任库密码。

用于验证服务器证书的信任库。它可以是 .jks 或 .p12。

信任库文件的格式。它必须是 jks 或 pkcs12。

定义如何在 TLS 连接中验证另一方提供的证书

full 验证服务器证书的颁发日期是否在 not_before 和 not_after 日期范围内；链到受信任的证书颁发机构 (CA)，并且主机名或 IP 地址与证书中的名称匹配。

none 不执行证书验证。

在 Elasticsearch 未附加任何其他数据的情况下，等待不完整响应的最长时间（以秒为单位）。套接字超时通常发生在等待响应的第一个字节时，例如执行特别复杂的查询时。

如果没有 target，则从每个命中结果的 _source 在根级别创建事件。当 target 设置为字段引用时，命中的 _source 将放置在目标字段中。

此选项可用于在强制执行下游模式（例如 ECS）时避免填充未知字段。也可以将目标设置为事件元数据中的条目，该条目将在事件处理期间可用，但不会导出到您的输出（例如，target \=> "[@metadata][_source]"）。

在对 Elasticsearch 服务器进行身份验证时，与 password 选项一起使用的用户名。如果设置为空字符串，则身份验证将被禁用。

PEM 编码格式的 SSL 证书颁发机构文件，还必须包含任何必要的链证书。

如果启用，则在与 Elasticsearch 服务器通信时将使用 SSL（即，将使用 HTTPS 而不是普通 HTTP）。

验证服务器证书的选项。禁用此选项会严重影响安全性。当禁用证书验证时，此插件隐式信任在给定地址解析的机器，而不验证其身份证明。在这种情况下，插件可以向不受信任的中间人或其他受损基础设施传输凭据或处理数据。有关证书验证重要性的更多信息：https://www.cs.utexas.edu/~shmat/shmat_ccs12.pdf。

向事件添加字段

用于输入数据的编解码器。输入编解码器是在数据进入输入之前对其进行解码的便捷方法，无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标日志记录，默认情况下，我们记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 elasticsearch 输入。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 监控 Logstash 时提供帮助。

input {
  elasticsearch {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的标签。

这可以帮助以后进行处理。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发货器发送事件到索引器时），那么新的输入将不会覆盖现有类型。在发货器处设置的类型将与该事件保持一致，即使发送到另一台 Logstash 服务器也是如此。