配置 Elasticsearch 输出

enabled 配置是一个布尔值设置，用于启用或禁用输出。如果设置为false，则输出将被禁用。

默认值为true。

要连接到的 Elasticsearch 节点列表。事件将以循环方式分配到这些节点。如果一个节点变得不可达，事件将自动发送到另一个节点。每个 Elasticsearch 节点可以定义为URL或IP:PORT。例如：http://192.15.3.2、https://es.found.io:9230或192.24.3.2:9300。如果未指定端口，则使用9200。

output.elasticsearch:
  hosts: ["10.45.3.2:9220", "10.45.3.1:9230"] 
  protocol: https
  path: /elasticsearch

在前面的示例中，Elasticsearch 节点在https://10.45.3.2:9220/elasticsearch和https://10.45.3.1:9230/elasticsearch处可用。

gzip 压缩级别。将此值设置为0将禁用压缩。压缩级别必须在1（最佳速度）到9（最佳压缩）之间。

提高压缩级别会减少网络使用，但会增加 CPU 使用率。

默认值为1。

配置字符串中 HTML 的转义。设置为true以启用转义。

默认值为false。

每个配置的将事件发布到 Elasticsearch 的主机的工作进程数量。这在启用负载平衡模式时最有用。例如：如果您有 2 个主机和 3 个工作进程，则总共启动 6 个工作进程（每个主机 3 个）。

默认值为1。

当loadbalance: true设置时，Auditbeat 连接到所有配置的主机，并通过所有连接并行发送数据。如果连接失败，数据将发送到剩余的主机，直到可以重新建立连接。只要 Auditbeat 能够连接到至少一个配置的主机，数据就会继续发送。

当loadbalance: false设置时，Auditbeat 每次将数据发送到一个主机。目标主机是从配置的主机列表中随机选择的，所有数据都发送到该目标，直到连接失败，此时会选择新的目标。只要 Auditbeat 能够连接到至少一个配置的主机，数据就会继续发送。

默认值为true。

output.elasticsearch:
  hosts: ["localhost:9200", "localhost:9201"]
  loadbalance: true

您可以使用 API 密钥来确保与 Elasticsearch 的通信安全，而不是使用用户名和密码。该值必须是 API 密钥的 ID 和 API 密钥，以冒号分隔：id:api_key。

有关更多信息，请参阅使用 API 密钥授予访问权限。

用于连接到 Elasticsearch 的基本身份验证用户名。

此用户需要将事件发布到 Elasticsearch 所需的权限。要创建这样的用户，请参阅创建发布用户。

用于连接到 Elasticsearch 的基本身份验证密码。

要与索引操作一起在 URL 中传递的 HTTP 参数的字典。

Elasticsearch 可达的协议名称。选项为：http或https。默认值为http。但是，如果您为hosts指定 URL，则protocol的值将被您在 URL 中指定的方案覆盖。

一个 HTTP 路径前缀，它将被附加到 HTTP API 调用。这对于 Elasticsearch 在 HTTP 反向代理后监听并在自定义前缀下导出 API 的情况很有用。

要添加到 Elasticsearch 输出创建的每个请求的自定义 HTTP 标头。示例

output.elasticsearch.headers:
  X-My-Header: Header contents

可以通过用逗号分隔来为同一个标头名称指定多个标头值。

如果设置为true，则所有代理设置（包括HTTP_PROXY和HTTPS_PROXY变量）都将被忽略。

连接到 Elasticsearch 服务器时要使用的代理的 URL。该值必须是完整的 URL。如果未通过配置文件指定值，则使用代理环境变量。有关环境变量的更多信息，请参阅Go 文档。

在 CONNECT 请求期间发送到代理的附加标头。

当您使用每日索引时，要写入事件的索引名称。默认值为"auditbeat-%{[agent.version]}-%{+yyyy.MM.dd}"，例如"auditbeat-8.14.3-2024-07-18"。如果您更改此设置，您还需要配置setup.template.name和setup.template.pattern选项（请参阅Elasticsearch 索引模板）。

如果您使用预构建的 Kibana 仪表板，您还需要设置setup.dashboards.index选项（请参阅Kibana 仪表板）。

当索引生命周期管理 (ILM)启用时，默认index为"auditbeat-%{[agent.version]}-%{+yyyy.MM.dd}-%{index_num}"，例如"auditbeat-8.14.3-2024-07-18-000001"。当 ILM 启用时，自定义index设置将被忽略。如果您将事件发送到支持索引生命周期管理的集群，请参阅索引生命周期管理 (ILM)以了解如何更改索引名称。

您可以通过使用格式字符串访问任何事件字段来动态设置索引。例如，此配置使用自定义字段fields.log_type来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  index: "%{[fields.log_type]}-%{[agent.version]}-%{+yyyy.MM.dd}" 

使用此配置，所有具有log_type: normal的事件将被发送到名为normal-8.14.3-2024-07-18的索引，所有具有log_type: critical的事件将被发送到名为critical-8.14.3-2024-07-18的索引。

有关其他动态设置索引的方法，请参阅indices设置。

索引选择器规则数组。每个规则都指定了用于匹配该规则的事件的索引。在发布期间，Auditbeat 使用数组中的第一个匹配规则。规则可以包含条件语句、基于格式字符串的字段和名称映射。如果indices设置缺失或没有规则匹配，则使用index设置。

与 index 类似，定义自定义 indices 将禁用 索引生命周期管理 (ILM)。

规则设置

以下示例根据 message 字段是否包含指定字符串来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  indices:
    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "ERR"

此配置导致索引命名为 warning-8.14.3-2024-07-18 和 error-8.14.3-2024-07-18（以及如果未找到匹配项，则使用默认索引）。

以下示例通过获取 index 格式字符串返回的名称并将其映射到用作索引的新名称来设置索引

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  indices:
    - index: "%{[fields.log_type]}"
      mappings:
        critical: "sev1"
        normal: "sev2"
      default: "sev3"

此配置导致索引命名为 sev1、sev2 和 sev3。

mappings 设置简化了配置，但仅限于字符串值。您不能在映射对中指定格式字符串。

索引生命周期管理的配置选项。

有关更多信息，请参见 索引生命周期管理 (ILM)。

一个格式字符串值，用于指定要将事件写入的摄取管道。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipeline: my_pipeline_id

有关更多信息，请参见 使用摄取管道解析数据。

您可以通过使用格式字符串访问任何事件字段来动态设置摄取管道。例如，此配置使用自定义字段 fields.log_type 来为每个事件设置管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipeline: "%{[fields.log_type]}_pipeline"

使用此配置，所有具有 log_type: normal 的事件都将发送到名为 normal_pipeline 的管道，所有具有 log_type: critical 的事件都将发送到名为 critical_pipeline 的管道。

有关以其他方式动态设置摄取管道的其他方法，请参见 pipelines 设置。

一组管道选择器规则。每个规则指定要用于与规则匹配的事件的摄取管道。在发布期间，Auditbeat 使用数组中第一个匹配的规则。规则可以包含条件、基于格式字符串的字段和名称映射。如果缺少 pipelines 设置或没有规则匹配，则使用 pipeline 设置。

规则设置

以下示例根据 message 字段是否包含指定字符串将事件发送到特定管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipelines:
    - pipeline: "warning_pipeline"
      when.contains:
        message: "WARN"
    - pipeline: "error_pipeline"
      when.contains:
        message: "ERR"

以下示例通过获取 pipeline 格式字符串返回的名称并将其映射到用作管道的新的名称来设置管道

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  pipelines:
    - pipeline: "%{[fields.log_type]}"
      mappings:
        critical: "sev1_pipeline"
        normal: "sev2_pipeline"
      default: "sev3_pipeline"

使用此配置，所有具有 log_type: critical 的事件都将发送到 sev1_pipeline，所有具有 log_type: normal 的事件都将发送到 sev2_pipeline，所有其他事件都将发送到 sev3_pipeline。

有关摄取管道的更多信息，请参见 使用摄取管道解析数据。

在发布失败后重试发布事件的次数。在指定次数的重试后，事件通常会被丢弃。

将 max_retries 设置为小于 0 的值以一直重试，直到所有事件都发布。

默认值为 3。

在单个 Elasticsearch 批量 API 索引请求中批量处理的事件的最大数量。默认值为 1600。

事件可以收集到批次中。Auditbeat 将拆分从队列中读取的比 bulk_max_size 更大的批次，将其拆分为多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是，较大的批次大小也会增加处理时间，这可能会导致 API 错误、终止连接、发布请求超时以及最终导致吞吐量降低。

将 bulk_max_size 设置为小于或等于 0 的值将禁用批次拆分。禁用拆分后，队列将决定批次中包含的事件数量。

在网络错误后尝试重新连接到 Elasticsearch 之前等待的秒数。等待 backoff.init 秒后，Auditbeat 将尝试重新连接。如果尝试失败，则回退计时器将以指数方式增加，直到 backoff.max。成功连接后，回退计时器将重置。默认值为 1s。

在网络错误后尝试连接到 Elasticsearch 之前等待的最大秒数。默认值为 60s。

空闲连接在关闭自身之前保持空闲的最大时间量。零表示没有限制。格式为 Go 语言持续时间（例如 60s 为 60 秒）。默认值为 3s。

Elasticsearch 请求的 HTTP 请求超时时间（以秒为单位）。默认值为 90。

默认情况下，Auditbeat 希望 Elasticsearch 实例与 Auditbeat 处于相同版本或更高版本，以提供最佳体验。建议您连接到相同版本，以确保 Auditbeat 使用的所有功能都可以在您的 Elasticsearch 实例中使用。

例如，您可以在更新 Elastic Stack 时禁用此检查，以便数据收集可以继续进行。

用于 SSL 参数的配置选项，例如用于基于 HTTPS 的连接的证书颁发机构。如果缺少 ssl 部分，则主机 CA 用于与 Elasticsearch 的 HTTPS 连接。

有关更多信息，请参见 与 Elasticsearch 的安全通信 指南或 SSL 配置参考。

Kerberos 身份验证的配置选项。

有关更多信息，请参见 Kerberos。

指定 Elasticsearch 集群明确拒绝文档时的行为，例如映射冲突。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  non_indexable_policy.drop: ~

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  non_indexable_policy.dead_letter_index:
    index: "my-dead-letter-index"

要应用于输出配置的性能预设。

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  preset: balanced

性能预设会根据所需的性能目标应用一组配置覆盖。如果设置，性能预设将覆盖其他配置标志以匹配该预设的推荐设置。有效选项为：* balanced：通用效率的良好起点 * throughput：适用于高数据量，可能会增加 CPU 和内存需求 * scale：在大型低吞吐量部署中减少环境资源使用 * latency：最大程度地减少新数据在 Elasticsearch 中可见的时间 * custom：直接应用用户配置，不进行覆盖

如果未指定，默认值为 custom。

预设代表根据预期目标的当前建议；它们的效果可能在不同版本之间有所不同，以更好地适应这些目标。目前，预设具有以下效果