Elasticsearch 输入插件

使用 Elasticsearch API 密钥进行身份验证。请注意，此选项还需要启用 ssl_enabled 选项。

格式为 id:api_key，其中 id 和 api_key 与 Elasticsearch 创建 API 密钥 API 返回的值相同。

要信任的 SSL 证书颁发机构的 SHA-256 指纹，例如 Elasticsearch 集群的自动生成的自签名 CA。

云身份验证字符串（“<username>:<password>” 格式）是 user/password 对的替代方案。

有关更多信息，请查看 Logstash 到云文档.

来自 Elastic Cloud Web 控制台的云 ID。如果设置了 hosts，则不应使用。

有关更多信息，请查看 Logstash 到云文档.

建立与 Elasticsearch 的连接时要等待的最大时间（以秒为单位）。连接超时通常发生在 Elasticsearch 或中间代理因请求过载而耗尽其连接池时。

如果设置，则在事件中包含 Elasticsearch 文档信息，例如索引、类型和 ID。

需要注意的是，关于元数据，如果您要摄取文档以重新索引它们（或只是更新它们），那么 elasticsearch 输出中的 action 选项需要知道如何处理这些事情。它可以通过添加到元数据的字段动态分配。

示例

    input {
      elasticsearch {
        hosts => "es.production.mysite.org"
        index => "mydata-2018.09.*"
        query => '{ "query": { "query_string": { "query": "*" } } }'
        size => 500
        scroll => "5m"
        docinfo => true
        docinfo_target => "[@metadata][doc]"
      }
    }
    output {
      elasticsearch {
        index => "copy-of-production.%{[@metadata][doc][_index]}"
        document_type => "%{[@metadata][doc][_type]}"
        document_id => "%{[@metadata][doc][_id]}"
      }
    }

如果设置，您可以在 add_field 通用选项中使用元数据信息。

示例

    input {
      elasticsearch {
        docinfo => true
        docinfo_target => "[@metadata][doc]"
        add_field => {
          identifier => "%{[@metadata][doc][_index]}:%{[@metadata][doc][_type]}:%{[@metadata][doc][_id]}"
        }
      }
    }

如果通过启用 docinfo 选项请求文档元数据存储，则此选项列出要保存在当前事件中的元数据字段。有关更多信息，请参阅 Elasticsearch 文档中的 元字段。

如果通过启用 docinfo 选项请求文档元数据存储，则此选项命名要将元数据字段存储为子字段的字段。

控制此插件与 Elastic Common Schema (ECS) 的兼容性。

用于查询的一个或多个 Elasticsearch 主机的列表。每个主机可以是 IP、HOST、IP:port 或 HOST:port。端口默认为 9200。

要搜索的索引或别名。查看 Elasticsearch 文档中的 多索引文档，了解有关引用多个索引的信息。

在对 Elasticsearch 服务器进行身份验证时，与 user 选项中的用户名一起使用的密码。如果设置为空字符串，则身份验证将被禁用。

设置转发 HTTP 代理的地址。空字符串被视为未设置代理，这在使用环境变量时很有用，例如 proxy => '${LS_PROXY:}'。

要执行的查询。阅读 Elasticsearch 查询 DSL 文档 以获取更多信息。

当 search_api 解析为 search_after 并且查询未指定 sort 时，默认排序 '{ "sort": { "_shard_doc": "asc" } }' 将被添加到查询中。请参考 Elasticsearch search_after 参数以了解更多信息。

在处理查询的响应时，将结果的哪一部分转换为 Logstash 事件。默认的 hits 将为每个返回的文档（即“命中”）生成一个事件。当设置为 aggregations 时，将生成一个包含查询响应的 aggregations 对象内容的 Logstash 事件。在这种情况下，hits 对象将被忽略。参数 size 将始终设置为 0，无论在此插件中设置的默认值或用户定义的值如何。

单个 Elasticsearch 请求的最大时间（以秒为单位）。请求超时往往发生在单个数据页面非常大时，例如当它包含大型有效载荷文档和/或 size 已被指定为一个很大的值时。

在第一次失败后重新运行查询的次数。如果查询在所有重试后都失败，它会记录一条错误消息。默认值为 0（不重试）。此值应等于或大于零。

定期运行语句的时间安排，以 Cron 格式，例如："* * * * *"（每分钟执行一次查询，在分钟内）

默认情况下没有时间安排。如果没有给出时间安排，则语句只执行一次。

此参数控制滚动请求的保持活动时间（以秒为单位），并启动滚动过程。超时适用于每次往返（即，从上一次滚动请求到下一次滚动请求之间）。

使用 auto，插件对 Elasticsearch 版本 8.0.0 或更高版本使用 search_after 参数，否则使用 scroll API。

search_after 使用 时间点 和排序值进行搜索。查询需要至少一个 sort 字段，如 query 参数中所述。

scroll 使用 scroll API 进行搜索，这不再推荐。

这允许您设置每次滚动返回的最大命中数。

在某些情况下，通过使用 切片滚动 同时使用多个不同的查询切片，可以提高整体吞吐量，尤其是在管道花费大量时间等待 Elasticsearch 提供结果时。

如果设置了 slices 参数，则该参数会告诉插件将工作分成多少个切片，并将并行地从切片中生成事件，直到所有切片都完成滚动。

如果 slices 参数未设置，则插件不会将切片指令注入查询。

用于对客户端进行身份验证的 SSL 证书。此证书应为 OpenSSL 风格的 X.509 证书文件。

用于验证服务器证书的 .cer 或 .pem 文件。

要使用的密码套件列表，按优先级排列。支持的密码套件因 Java 和协议版本而异。

启用与 Elasticsearch 集群的安全 SSL/TLS 通信。不指定此选项将使用在 hosts 中列出的 URL 中指定的方案，或从 cloud_id 中提取的方案。如果未指定显式协议，则将使用纯 HTTP。

与 ssl_certificate 相对应的 OpenSSL 风格的 RSA 私钥。

设置密钥库密码

用于向服务器呈现证书的密钥库。它可以是 .jks 或 .p12

密钥库文件的格式。它必须是 jks 或 pkcs12。

在建立与 Elasticsearch 集群的连接时，允许使用的 SSL/TLS 版本列表。

对于 Java 8，'TLSv1.3' 仅从 8u262（AdoptOpenJDK）开始受支持，但要求您在 Logstash 中设置 LS_JAVA_OPTS="-Djdk.tls.client.protocols=TLSv1.3" 系统属性。

设置信任库密码。

用于验证服务器证书的信任库。它可以是 .jks 或 .p12。

信任库文件的格式。它必须是 jks 或 pkcs12。

定义如何验证 TLS 连接中另一方提供的证书

full 验证服务器证书的颁发日期是否在 not_before 和 not_after 日期之间；链到受信任的证书颁发机构 (CA)，并且具有与证书中的名称匹配的主机名或 IP 地址。

none 不执行证书验证。

在没有附加任何额外数据的情况下，等待 Elasticsearch 未完成响应的最大时间（以秒为单位）。套接字超时通常发生在等待响应的第一个字节时，例如执行特别复杂的查询时。

如果没有 target，则从每个命中项的 _source 在根级别创建事件。当 target 设置为字段引用时，命中项的 _source 将放置在目标字段中。

此选项在强制执行 ECS 等下游模式时，可以有效地避免填充未知字段。也可以将目标设置为事件元数据中的条目，该条目在事件处理期间可用，但不会导出到您的输出（例如，target \=> "[@metadata][_source]"）。

在对 Elasticsearch 服务器进行身份验证时，与 password 选项中的密码一起使用的用户名。如果设置为空字符串，则身份验证将被禁用。

以 PEM 编码格式表示的 SSL 证书颁发机构文件，还必须包含任何必要的链证书。

如果启用，则在与 Elasticsearch 服务器通信时将使用 SSL（即，将使用 HTTPS 而不是纯 HTTP）。

用于验证服务器证书的选项。禁用此选项会严重损害安全性。当禁用证书验证时，此插件会隐式信任在给定地址解析的机器，而不会验证其身份证明。在这种情况下，插件可能会将凭据传输到不受信任的中间人或其他受损基础设施，或从这些基础设施处理数据。有关证书验证重要性的更多信息：https://www.cs.utexas.edu/~shmat/shmat_ccs12.pdf.

向事件添加字段

禁用或启用此特定插件实例的指标日志记录，默认情况下，我们会记录所有可以记录的指标，但您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 elasticsearch 输入。在这种情况下，添加一个命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  elasticsearch {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的任意标签。

这可以帮助以后进行处理。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发件人发送事件到索引器时），则新的输入不会覆盖现有的类型。在发件人处设置的类型会一直保留在该事件中，即使它被发送到另一个 Logstash 服务器也是如此。