配置 Elasticsearch 输出

enabled 配置是一个布尔值设置，用于启用或禁用输出。如果设置为 false，则禁用输出。

默认值为 true。

要连接的 Elasticsearch 节点列表。事件以循环方式分发到这些节点。如果一个节点变得不可访问，事件会自动发送到另一个节点。每个 Elasticsearch 节点可以定义为 URL 或 IP:PORT。例如：http://192.15.3.2、https://es.found.io:9230 或 192.24.3.2:9300。如果未指定端口，则使用 9200。

output.elasticsearch:
  hosts: ["10.45.3.2:9220", "10.45.3.1:9230"] 
  protocol: https
  path: /elasticsearch

在上一个示例中，Elasticsearch 节点在 https://10.45.3.2:9220/elasticsearch 和 https://10.45.3.1:9230/elasticsearch 可用。

gzip 压缩级别。将此值设置为 0 会禁用压缩。压缩级别必须在 1（最佳速度）到 9（最佳压缩）的范围内。

增加压缩级别将减少网络使用量，但会增加 CPU 使用量。

默认值为 1。

配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值为 false。

每个配置的主机发布事件到 Elasticsearch 的工作线程数。最好在启用负载均衡模式时使用。示例：如果您有 2 个主机和 3 个工作线程，则总共启动 6 个工作线程（每个主机 3 个）。

默认值为 1。

当设置 loadbalance: true 时，Packetbeat 连接到所有配置的主机，并通过所有连接并行发送数据。如果连接失败，数据将被发送到剩余的主机，直到重新建立连接。只要 Packetbeat 可以连接到其配置的主机中的至少一个，数据仍将被发送。

当设置 loadbalance: false 时，Packetbeat 一次向单个主机发送数据。目标主机是从配置的主机列表中随机选择的，所有数据都将发送到该目标，直到连接失败，然后选择新的目标。只要 Packetbeat 可以连接到其配置的主机中的至少一个，数据仍将被发送。

默认值为 true。

output.elasticsearch:
  hosts: ["localhost:9200", "localhost:9201"]
  loadbalance: true

您可以使用 API 密钥来保护与 Elasticsearch 的通信，而不是使用用户名和密码。该值必须是 API 密钥的 ID 和 API 密钥，以冒号分隔：id:api_key。

有关更多信息，请参阅使用 API 密钥授予访问权限。

用于连接到 Elasticsearch 的基本身份验证用户名。

此用户需要将事件发布到 Elasticsearch 所需的权限。要创建这样的用户，请参阅创建发布用户。

用于连接到 Elasticsearch 的基本身份验证密码。

在 URL 中传递的 HTTP 参数字典，用于索引操作。

Elasticsearch 可访问的协议名称。选项为：http 或 https。默认值为 http。但是，如果您为hosts指定 URL，则 protocol 的值将被您在 URL 中指定的任何 scheme 覆盖。

一个 HTTP 路径前缀，它被添加到 HTTP API 调用之前。这对于 Elasticsearch 在 HTTP 反向代理后面侦听，该反向代理在自定义前缀下导出 API 的情况非常有用。

添加到 Elasticsearch 输出创建的每个请求的自定义 HTTP 标头。示例

output.elasticsearch.headers:
  X-My-Header: Header contents

可以通过使用逗号分隔同一标头名称的多个标头值。

如果设置为 true，则所有代理设置（包括 HTTP_PROXY 和 HTTPS_PROXY 变量）都将被忽略。

连接到 Elasticsearch 服务器时要使用的代理的 URL。该值必须是一个完整的 URL。如果未通过配置文件指定值，则会使用代理环境变量。有关环境变量的更多信息，请参阅Go 文档。

在 CONNECT 请求期间要发送到代理的其他标头。

要写入事件的索引目标。可以指向索引、别名或数据流。当使用每日索引时，这将是索引名称。默认值为 "packetbeat-%{[agent.version]}-%{+yyyy.MM.dd}"，例如，"packetbeat-8.17.0-2024-12-13"。如果更改此设置，还需要配置 setup.template.name 和 setup.template.pattern 选项（请参阅Elasticsearch 索引模板）。

如果您正在使用预构建的 Kibana 仪表板，还需要设置 setup.dashboards.index 选项（请参阅Kibana 仪表板）。

当启用索引生命周期管理 (ILM)时，默认 index 为 "packetbeat-%{[agent.version]}-%{+yyyy.MM.dd}-%{index_num}"，例如，"packetbeat-8.17.0-2024-12-13-000001"。当启用 ILM 时，自定义 index 设置将被忽略。如果您要将事件发送到支持索引生命周期管理的集群，请参阅索引生命周期管理 (ILM)，了解如何更改索引名称。

您可以使用格式字符串访问任何事件字段来动态设置索引。例如，此配置使用一个自定义字段 fields.log_type 来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  index: "%{[fields.log_type]}-%{[agent.version]}-%{+yyyy.MM.dd}" 

使用此配置，所有 log_type: normal 的事件都将发送到名为 normal-8.17.0-2024-12-13 的索引，并且所有 log_type: critical 的事件都将发送到名为 critical-8.17.0-2024-12-13 的索引。

有关其他动态设置索引的方法，请参阅indices设置。

索引选择器规则的数组。每个规则指定用于匹配规则的事件的索引。在发布期间，Packetbeat 使用数组中的第一个匹配规则。规则可以包含条件、基于格式字符串的字段和名称映射。如果缺少 indices 设置或没有规则匹配，则使用index 设置。

与 index 类似，定义自定义 indices 将禁用索引生命周期管理 (ILM)。

规则设置

以下示例基于 message 字段是否包含指定的字符串来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  indices:
    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "ERR"

此配置将生成名为 warning-8.17.0-2024-12-13 和 error-8.17.0-2024-12-13 的索引（如果未找到匹配项，则加上默认索引）。

以下示例通过采用 index 格式字符串返回的名称并将其映射到用于索引的新名称来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  indices:
    - index: "%{[fields.log_type]}"
      mappings:
        critical: "sev1"
        normal: "sev2"
      default: "sev3"

此配置将生成名为 sev1、sev2 和 sev3 的索引。

mappings 设置简化了配置，但仅限于字符串值。您不能在映射对中指定格式字符串。

索引生命周期管理的配置选项。

更多信息，请参阅索引生命周期管理（ILM）。

一个格式字符串值，用于指定将事件写入的 Ingest 管道。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipeline: my_pipeline_id

更多信息，请参阅使用 Ingest 管道解析数据。

您可以使用格式字符串访问任何事件字段来动态设置 Ingest 管道。例如，此配置使用自定义字段 fields.log_type 为每个事件设置管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipeline: "%{[fields.log_type]}_pipeline"

使用此配置，所有具有 log_type: normal 的事件都将发送到名为 normal_pipeline 的管道，而所有具有 log_type: critical 的事件都将发送到名为 critical_pipeline 的管道。

有关动态设置 Ingest 管道的其他方法，请参阅pipelines 设置。

管道选择器规则的数组。每个规则指定用于匹配该规则的事件的 Ingest 管道。在发布期间，Packetbeat 使用数组中第一个匹配的规则。规则可以包含条件、基于格式字符串的字段和名称映射。如果缺少 pipelines 设置或没有规则匹配，则使用pipeline 设置。

规则设置

以下示例根据 message 字段是否包含指定的字符串将事件发送到特定的管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipelines:
    - pipeline: "warning_pipeline"
      when.contains:
        message: "WARN"
    - pipeline: "error_pipeline"
      when.contains:
        message: "ERR"

以下示例通过获取 pipeline 格式字符串返回的名称并将其映射到用于管道的新名称来设置管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipelines:
    - pipeline: "%{[fields.log_type]}"
      mappings:
        critical: "sev1_pipeline"
        normal: "sev2_pipeline"
      default: "sev3_pipeline"

使用此配置，所有具有 log_type: critical 的事件都将发送到 sev1_pipeline，所有具有 log_type: normal 的事件都将发送到 sev2_pipeline，所有其他事件都将发送到 sev3_pipeline。

有关 Ingest 管道的更多信息，请参阅使用 Ingest 管道解析数据。

在发布失败后重试发布事件的次数。在指定重试次数后，通常会丢弃事件。

将 max_retries 设置为小于 0 的值可重试直到发布所有事件。

默认值为 3。

在单个 Elasticsearch 批量 API 索引请求中批量处理的最大事件数。默认值为 1600。

可以将事件收集到批次中。Packetbeat 会将从队列中读取的、大于 bulk_max_size 的批次拆分为多个批次。

指定较大的批次大小可以通过降低发送事件的开销来提高性能。但是，较大的批次大小也可能会增加处理时间，这可能会导致 API 错误、连接被终止、发布请求超时，并最终降低吞吐量。

将 bulk_max_size 设置为小于或等于 0 的值会禁用批次拆分。禁用拆分时，队列会决定批次中包含的事件数。

在发生网络错误后尝试重新连接到 Elasticsearch 之前等待的秒数。等待 backoff.init 秒后，Packetbeat 尝试重新连接。如果尝试失败，则退避计时器将呈指数增加，直到达到 backoff.max。成功连接后，退避计时器将重置。默认值为 1s。

在发生网络错误后尝试连接到 Elasticsearch 之前等待的最大秒数。默认值为 60s。

空闲连接在关闭自身之前将保持空闲的最大时间量。零表示没有限制。格式为 Go 语言的持续时间（例如 60s 为 60 秒）。默认值为 3s。

Elasticsearch 请求的 http 请求超时（以秒为单位）。默认值为 90。

默认情况下，Packetbeat 希望 Elasticsearch 实例的版本相同或更新，以提供最佳体验。我们建议您连接到相同的版本，以确保您的 Elasticsearch 实例中可以使用 Packetbeat 正在使用的所有功能。

例如，您可以在更新 Elastic Stack 期间禁用此检查，以便可以继续进行数据收集。

SSL 参数的配置选项，例如用于基于 HTTPS 的连接的证书颁发机构。如果缺少 ssl 部分，则主机 CA 用于与 Elasticsearch 的 HTTPS 连接。

有关更多信息，请参阅使用 Elasticsearch 安全通信指南或SSL 配置参考。

Kerberos 身份验证的配置选项。

有关更多信息，请参阅Kerberos。

指定当 Elasticsearch 集群显式拒绝文档时（例如，在映射冲突时）的行为。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  non_indexable_policy.drop: ~

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  non_indexable_policy.dead_letter_index:
    index: "my-dead-letter-index"

要应用于输出配置的性能预设。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  preset: balanced

性能预设会根据所需的性能目标应用一组配置覆盖。如果设置了性能预设，则性能预设将覆盖其他配置标志，以匹配该预设的推荐设置。有效选项包括：* balanced：适用于一般效率的良好起点 * throughput：适用于高数据量，可能会增加 CPU 和内存要求 * scale：减少大型低吞吐量部署中的环境资源使用 * latency：最大程度地减少新数据在 Elasticsearch 中可见的时间 * custom：直接应用用户配置，不进行任何覆盖

如果未指定，则默认为 custom。

预设表示基于预期目标的当前建议；它们的效果可能会在版本之间更改，以更好地适应这些目标。目前，预设具有以下效果