« 为独立 Elastic Agent 配置输出 Kafka 输出 »
Elastic 文档 ›Fleet 和 Elastic Agent 指南 [8.14] ›配置独立 Elastic Agent ›为独立 Elastic Agent 配置输出

配置 Elasticsearch 输出

编辑

配置 Elasticsearch 输出编辑

Elasticsearch 输出使用 Elasticsearch HTTP API 将事件直接发送到 Elasticsearch。

兼容性： 此输出适用于所有兼容版本的 Elasticsearch。请参阅 Elastic 支持矩阵。

此示例在 elastic-agent.yml 文件中配置了一个名为 default 的 Elasticsearch 输出

outputs:
  default:
    type: elasticsearch
    hosts: [127.0.0.1:9200]
    username: elastic
    password: changeme

此示例与上一个示例类似，只是它使用推荐的 基于令牌（API 密钥）的身份验证

outputs:
  default:
    type: elasticsearch
    hosts: [127.0.0.1:9200]
    api_key: "my_api_key"

在 Elastic Cloud 无服务器 环境中，需要使用基于令牌的身份验证。

Elasticsearch 输出配置设置编辑

elasticsearch 输出类型支持以下设置，按类别分组。许多这些设置都有合理的默认值，允许您以最少的配置运行 Elastic Agent。

常用设置编辑

设置 描述

enabled

(布尔值) 启用或禁用输出。如果设置为 false，则禁用输出。

默认值： true

hosts

(列表) 要连接到的 Elasticsearch 节点列表。事件以循环方式分发到这些节点。如果一个节点变得不可达，事件将自动发送到另一个节点。每个 Elasticsearch 节点都可以定义为 URL 或 IP:PORT。例如：http://192.15.3.2、https://es.found.io:9230 或 192.24.3.2:9300。如果未指定端口，则使用 9200。

当节点定义为 IP:PORT 时，方案 和 路径 将从 protocol 和 path 设置中获取。

outputs:
  default:
    type: elasticsearch
    hosts: ["10.45.3.2:9220", "10.45.3.1:9230"] 
    protocol: https
    path: /elasticsearch

在此示例中，Elasticsearch 节点位于 https://10.45.3.2:9220/elasticsearch 和 https://10.45.3.1:9230/elasticsearch。

protocol

(字符串) Elasticsearch 可达的协议名称。选项包括：http 或 https。默认值为 http。但是，如果您为 hosts 指定了 URL，则 protocol 的值将被您在 URL 中指定的方案覆盖。

proxy_disable

(布尔值) 如果设置为 true，则忽略所有代理设置，包括 HTTP_PROXY 和 HTTPS_PROXY 变量。

默认值： false

proxy_headers

(字符串) 在 CONNECT 请求期间发送到代理的附加标头。

proxy_url

(字符串) 连接到 Elasticsearch 服务器时要使用的代理的 URL。该值可以是完整的 URL 或 host[:port]，在这种情况下，将假定 http 方案。如果未通过配置文件指定值，则使用代理环境变量。有关环境变量的更多信息，请参阅 Go 文档。

身份验证设置编辑

通过 elasticsearch 输出将数据发送到安全集群时，Elastic Agent 可以使用以下任何身份验证方法

基本身份验证凭据编辑
outputs:
  default:
    type: elasticsearch
    hosts: ["https://myEShost:9200"]
    username: "your-username"
    password: "your-password"
设置 描述

password

(字符串) 连接到 Elasticsearch 的基本身份验证密码。

username

(字符串) 连接到 Elasticsearch 的基本身份验证用户名。

此用户需要将事件发布到 Elasticsearch 所需的权限。

请注意，在 Elastic Cloud 无服务器 环境中，您需要使用 基于令牌（API 密钥）的身份验证。
基于令牌（API 密钥）的身份验证编辑
outputs:
  default:
    type: elasticsearch
    hosts: ["https://myEShost:9200"]
    api_key: "KnR6yE41RrSowb0kQ0HWoA"
设置 描述

api_key

(字符串) 您可以使用 API 密钥 来保护与 Elasticsearch 的通信，而不是使用用户名和密码。该值必须是 API 密钥的 ID 和 API 密钥，用冒号分隔：id:api_key。在 Elastic Cloud 无服务器 环境中，需要使用基于令牌的身份验证。
公钥基础设施 (PKI) 证书编辑
outputs:
  default:
    type: elasticsearch
    hosts: ["https://myEShost:9200"]
    ssl.certificate: "/etc/pki/client/cert.pem"
    ssl.key: "/etc/pki/client/cert.key"

有关可用设置的列表，请参阅 SSL/TLS，特别是 表 4，“通用配置选项” 和 表 5，“客户端配置选项” 下的设置。

Kerberos编辑

支持以下加密类型

  • aes128-cts-hmac-sha1-96
  • aes128-cts-hmac-sha256-128
  • aes256-cts-hmac-sha1-96
  • aes256-cts-hmac-sha384-192
  • des3-cbc-sha1-kd
  • rc4-hmac

使用 Kerberos 基于密码的身份验证的示例输出配置

outputs:
  default:
    type: elasticsearch
    hosts: ["http://my-elasticsearch.elastic.co:9200"]
    kerberos.auth_type: password
    kerberos.username: "elastic"
    kerberos.password: "changeme"
    kerberos.config_path: "/etc/krb5.conf"
    kerberos.realm: "ELASTIC.CO"

Elasticsearch 实例的服务主体名称由这些选项构建。根据此配置，名称将为

HTTP/[email protected]

设置 描述

kerberos.auth_type

(字符串) 与 Kerberos KDC 一起使用的身份验证类型

password
指定时，还设置 kerberos.username 和 kerberos.password。
keytab
指定时，还设置 kerberos.username 和 kerberos.keytab。keytab 必须包含所选主体的密钥，否则身份验证将失败。

默认值： password

kerberos.config_path

(字符串) krb5.conf 的路径。Elastic Agent 使用此设置查找 Kerberos KDC 以检索票证。

kerberos.enabled

(布尔值) 启用或禁用 Kerberos 配置。

如果 enabled 设置为 false 或缺少 kerberos 部分，则 Kerberos 设置将被禁用。

kerberos.enable_krb5_fast

(布尔值) 如果为 true，则启用 Kerberos FAST 身份验证。这可能会与某些 Active Directory 安装冲突。

默认值： false

kerberos.keytab

(字符串) 如果 kerberos.auth_type 为 keytab，请提供所选主体的 keytab 的路径。

kerberos.password

(字符串) 如果 kerberos.auth_type 为 password，请提供所选主体的密码。

kerberos.realm

(字符串) 输出所在的域的名称。

kerberos.username

(字符串) 用于连接到输出的主体的名称。
数据解析、过滤和操作设置编辑

用于解析、过滤和转换数据的设置。

设置 描述

escape_html

(布尔值) 配置字符串中 HTML 的转义。设置为 true 以启用转义。

默认值： false

pipeline

(字符串) 指定要将事件写入的 摄取管道 的格式字符串值。

outputs:
  default:
    type: elasticsearchoutput.elasticsearch:
    hosts: ["https://127.0.0.1:9200"]
    pipeline: my_pipeline_id

您可以使用格式字符串来访问任何事件字段，从而动态设置摄取管道。例如，此配置使用自定义字段 fields.log_type 为每个事件设置管道

outputs:
  default:
    type: elasticsearch  hosts: ["https://127.0.0.1:9200"]
    pipeline: "%{[fields.log_type]}_pipeline"

使用此配置，所有具有 log_type: normal 的事件将发送到名为 normal_pipeline 的管道，所有具有 log_type: critical 的事件将发送到名为 critical_pipeline 的管道。

要了解如何向事件添加自定义字段，请参阅 fields 选项。

有关其他动态设置摄取管道的方法，请参阅 pipelines 设置。

pipelines

一组管道选择器规则数组。每个规则指定了ingest pipeline，用于处理与规则匹配的事件。在发布过程中，Elastic Agent 使用数组中第一个匹配的规则。规则可以包含条件语句、基于格式字符串的字段和名称映射。如果pipelines设置缺失或没有规则匹配，则使用pipeline设置。

规则设置

pipeline
要使用的管道格式字符串。如果此字符串包含字段引用，例如%{[fields.name]}，则字段必须存在，否则规则将失败。
mappings
一个字典，它接受pipeline返回的值并将其映射到一个新名称。
default
如果mappings没有找到匹配项，则要使用的默认字符串值。
when
一个必须成功的条件，以便执行当前规则。

处理器支持的所有条件在此处也受支持。

以下示例根据message字段是否包含指定字符串，将事件发送到特定管道

outputs:
  default:
    type: elasticsearch  hosts: ["https://127.0.0.1:9200"]
    pipelines:
      - pipeline: "warning_pipeline"
        when.contains:
          message: "WARN"
      - pipeline: "error_pipeline"
        when.contains:
          message: "ERR"

以下示例通过获取pipeline格式字符串返回的名称并将其映射到一个新名称来设置管道，该新名称用于管道

outputs:
  default:
    type: elasticsearch
    hosts: ["https://127.0.0.1:9200"]
    pipelines:
      - pipeline: "%{[fields.log_type]}"
        mappings:
          critical: "sev1_pipeline"
          normal: "sev2_pipeline"
        default: "sev3_pipeline"

使用此配置，所有具有log_type: critical的事件将发送到sev1_pipeline，所有具有log_type: normal的事件将发送到sev2_pipeline，所有其他事件将发送到sev3_pipeline。

HTTP 设置edit

修改发送到 Elasticsearch 的 HTTP 请求的设置。

设置 描述

headers

要添加到 Elasticsearch 输出创建的每个请求的自定义 HTTP 标头。

示例

outputs:
  default:
    type: elasticsearch
    headers:
      X-My-Header: Header contents

通过逗号分隔多个标头值，为同一个标头名称指定多个标头值。

parameters

要与索引操作一起在 URL 中传递的 HTTP 参数字典。

path

(string) 一个 HTTP 路径前缀，它将附加到 HTTP API 调用。这对于 Elasticsearch 监听在 HTTP 反向代理后面并将 API 导出到自定义前缀的情况很有用。

内存队列设置edit

内存队列将所有事件保留在内存中。

内存队列等待输出确认或丢弃事件。如果队列已满，则无法将新事件插入内存队列。只有在收到输出的信号后，队列才会释放空间以接受更多事件。

内存队列由参数flush.min_events和flush.timeout控制。flush.min_events限制了单个批次中可以包含的事件数量，而flush.timeout指定了队列等待完全填充事件请求的时间。如果输出支持bulk_max_size参数，则最大批次大小将是bulk_max_size和flush.min_events中较小的那个。

flush.min_events是一个遗留参数，新配置应优先使用bulk_max_size来控制批次大小。从 8.13 开始，使用flush.min_events而不是bulk_max_size来限制批次大小永远不会带来性能优势。

在同步模式下，只要有事件可用，就会立即填充事件请求，即使没有足够的事件来填充请求的批次也是如此。这在必须将延迟降至最低时很有用。要使用同步模式，请将flush.timeout设置为 0。

为了向后兼容，也可以通过将flush.min_events设置为 0 或 1 来激活同步模式。在这种情况下，批次大小将限制为队列容量的一半。

在异步模式下，事件请求将等待最长指定的时间，以尝试完全填充请求的批次。如果超时到期，队列将返回包含所有可用事件的局部批次。要使用异步模式，请将flush.timeout设置为正持续时间，例如 5 秒。

此示例配置在有足够的事件来填充输出的请求（通常由bulk_max_size控制，并且由flush.min_events限制为最多 512 个事件）或事件已等待时将事件转发到输出

  queue.mem.events: 4096
  queue.mem.flush.min_events: 512
  queue.mem.flush.timeout: 5s
设置 描述

queue.mem.events

队列可以存储的事件数量。此值应能被queue.mem.flush.min_events或bulk_max_size中较小的那个值整除，以避免向输出发送局部批次。

默认值： 3200 个事件

queue.mem.flush.min_events

flush.min_events是一个遗留参数，新配置应优先使用bulk_max_size来控制批次大小。从 8.13 开始，使用flush.min_events而不是bulk_max_size来限制批次大小永远不会带来性能优势

默认值： 1600 个事件

queue.mem.flush.timeout

(int) 等待queue.mem.flush.min_events满足的最大时间。如果设置为 0 秒，则事件会立即提供给输出。

默认值： 10 秒

性能调整设置edit

在通过 Elasticsearch 输出发送数据时可能会影响性能的设置。

使用preset选项自动配置性能调整设置组，以针对throughput、scale、latency进行优化，或者您可以选择一组balanced性能规范。

性能调整preset值优先于可能单独定义的任何设置。如果您想更改任何设置，请将preset设置为custom并单独指定性能调整设置。

设置 描述

backoff.init

(string) 在网络错误后尝试重新连接到 Elasticsearch 之前等待的秒数。在等待backoff.init秒后，Elastic Agent 会尝试重新连接。如果尝试失败，则回退计时器将以指数方式增加，直到达到backoff.max。在成功连接后，回退计时器将重置。

默认值： 1 秒

backoff.max

(string) 在网络错误后尝试连接到 Elasticsearch 之前等待的最大秒数。

默认值： 60 秒

bulk_max_size

(int) 在单个 Elasticsearch 批量 API 索引请求中批量处理的最大事件数。

事件可以收集到批次中。Elastic Agent 会将大于bulk_max_size的批次拆分为多个批次。

指定更大的批次大小可以通过降低发送事件的开销来提高性能。但是，大型批次大小也会增加处理时间，这可能会导致 API 错误、连接终止、发布请求超时，最终导致吞吐量降低。

将bulk_max_size设置为小于或等于 0 的值将关闭批次拆分。当拆分被禁用时，队列将决定批次中包含的事件数量。

默认值： 1600

compression_level

(int) gzip 压缩级别。将此值设置为0以禁用压缩。压缩级别必须在1（最佳速度）到9（最佳压缩）范围内。

提高压缩级别会减少网络使用量，但会增加 CPU 使用量。

默认值： 1

max_retries

(int) 在发布失败后重试发布事件的次数。在指定次数的重试后，事件通常会被丢弃。

将max_retries设置为小于 0 的值，表示在所有事件发布之前一直重试。

默认值： 3

preset

配置性能调整设置的完整组，以优化 Elastic Agent 在将数据发送到 Elasticsearch 输出时的性能。

请参阅性能调整设置，了解显示与任何预设关联的值组的表格，以及显示不同预设选项测试结果的 EPS（每秒事件数）表格。

性能调整预设设置

balanced
配置“开箱即用”性能的默认调整设置值。
throughput
针对吞吐量优化 Elasticsearch 输出。
scale
针对可扩展性优化 Elasticsearch 输出。
latency
优化 Elasticsearch 输出以减少延迟。
custom
使用custom选项单独微调性能调整设置。

默认值： balanced

timeout

(string) Elasticsearch 请求的 HTTP 请求超时时间（以秒为单位）。

默认值： 90 秒

worker

(int) 每个配置的主机发布事件的工作人员数量。示例：如果您有两个主机和三个工作人员，则总共启动六个工作人员（每个主机三个）。

默认值： 1
« 为独立 Elastic Agent 配置输出 Kafka 输出 »