« 自动发现 高级用法 »
Elastic 文档 ›Filebeat 参考 [8.14] ›配置 Filebeat ›自动发现

基于提示的自动发现

编辑

基于提示的自动发现编辑

Filebeat 支持基于提供程序提示的自动发现。提示系统会在 Kubernetes Pod 注释或 Docker 标签中查找以 co.elastic.logs 为前缀的提示。容器启动后，Filebeat 会立即检查其是否包含任何提示，并为其启动正确的配置。提示会告诉 Filebeat 如何获取给定容器的日志。默认情况下，将使用 filestream 输入从容器中检索日志。您可以使用提示来修改此行为。以下是受支持提示的完整列表：

co.elastic.logs/enabled编辑

Filebeat 默认情况下会从所有容器中获取日志，您可以将此提示设置为 false 以忽略容器的输出。Filebeat 将不会读取或发送来自该容器的日志。如果禁用默认配置，则可以使用此注释仅为将此设置为 true 的容器启用日志检索。如果您打算在 Kubernetes 中使用此功能，请记住，注释值只能是字符串类型，因此您需要将其分别明确定义为 "true" 或 "false"。

co.elastic.logs/multiline.*编辑

多行设置。有关所有受支持选项的完整列表，请参阅多行消息。

co.elastic.logs/json.*编辑

JSON 设置。对于 filestream 输入（默认），请参阅ndjson，以获取所有受支持选项的完整列表。对于 container 或 log 输入，请参阅json，以获取所有受支持选项的完整列表。

例如，以下包含 json 选项的提示

co.elastic.logs/json.message_key: "log"
co.elastic.logs/json.add_error_key: "true"

将导致以下输入配置：

  • filestream 
parsers:
  - ndjson:
      message_key: "log"
      add_error_key: "true"
  • log 
json.message_key: "log"
json.add_error_key: "true"

log 输入的 keys_under_root json 选项在 filestream 输入中替换为 target 选项。请阅读文档（ndjson），了解如何正确使用它。

co.elastic.logs/include_lines编辑

一个正则表达式列表，用于匹配您希望 Filebeat 包含的行。有关详细信息，请参阅输入。

co.elastic.logs/exclude_lines编辑

一个正则表达式列表，用于匹配您希望 Filebeat 排除的行。有关详细信息，请参阅输入。

co.elastic.logs/module编辑

指定用于解析容器日志的模块，而不是使用原始 docker 输入。有关受支持模块的列表，请参阅模块。

co.elastic.logs/fileset编辑

配置模块后，将容器日志映射到模块文件集。您可以像这样配置单个文件集

co.elastic.logs/fileset: access

或者为容器（stdout 和 stderr）中的每个流配置一个文件集

co.elastic.logs/fileset.stdout: access
co.elastic.logs/fileset.stderr: error
co.elastic.logs/raw编辑

当需要完全设置整个输入/模块配置时，可以使用 raw 提示。您可以提供输入配置的字符串化 JSON。raw 会覆盖所有其他提示，并且可用于创建单个或多个配置。

co.elastic.logs/raw: "[{\"containers\":{\"ids\":[\"${data.container.id}\"]},\"multiline\":{\"negate\":\"true\",\"pattern\":\"^test\"},\"type\":\"docker\"}]"
co.elastic.logs/processors编辑

定义要添加到 Filebeat 输入/模块配置的处理器。有关受支持处理器的列表，请参阅处理器。

如果处理器配置使用列表数据结构，则必须枚举对象字段。例如，以下 rename 处理器配置的提示

processors:
  - rename:
      fields:
        - from: "a.g"
          to: "e.d"
      fail_on_error: true

将如下所示：

co.elastic.logs/processors.rename.fields.0.from: "a.g"
co.elastic.logs/processors.rename.fields.1.to: "e.d"
co.elastic.logs/processors.rename.fail_on_error: 'true'

如果处理器配置使用映射数据结构，则不需要枚举。例如，与以下 add_fields 配置等效的配置是

processors:
  - add_fields:
      target: project
      fields:
        name: myproject

如下所示：

co.elastic.logs/processors.1.add_fields.target: "project"
co.elastic.logs/processors.1.add_fields.fields.name: "myproject"

为了提供处理器定义的顺序，可以提供数字。如果没有，则提示构建器将执行任意排序

co.elastic.logs/processors.1.dissect.tokenizer: "%{key1} %{key2}"
co.elastic.logs/processors.dissect.tokenizer: "%{key2} %{key1}"

在上面的示例中，标记为 1 的处理器定义将首先执行。

co.elastic.logs/pipeline编辑

定义要添加到 Filebeat 输入/模块配置的摄取管道 ID。

co.elastic.logs/pipeline: custom-pipeline

当提示与模板一起使用时，仅当没有模板的条件解析为 true 时，才会评估提示。例如

filebeat.autodiscover.providers:
  - type: docker
    hints.enabled: true
    hints.default_config:
      type: container
      paths:
        - /var/lib/docker/containers/${data.container.id}/*.log
    templates:
      - condition:
          equals:
            docker.container.labels.type: "pipeline"
        config:
          - type: container
            paths:
              - "/var/lib/docker/containers/${data.docker.container.id}/*.log"
            pipeline: my-pipeline

在此示例中，首先评估条件 docker.container.labels.type: "pipeline"，如果不匹配，则处理提示，如果仍然没有有效的配置，则使用 hints.default_config。

Kubernetes编辑

Kubernetes 自动发现提供程序支持 Pod 注释中的提示。要启用它，只需设置 hints.enabled

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true

您可以配置在看到新容器时将启动的默认配置，如下所示：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      hints.default_config:
        type: container
        paths:
          - /var/log/containers/*-${data.container.id}.log  # CRI path

您还可以完全禁用默认设置，因此只会检索注释为 co.elastic.logs/enabled: true 的 Pod

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      hints.default_config.enabled: false

您可以使用有用的信息注释 Kubernetes Pod，以启动 Filebeat 输入或模块

annotations:
  co.elastic.logs/multiline.pattern: '^\['
  co.elastic.logs/multiline.negate: true
  co.elastic.logs/multiline.match: after
多个容器编辑

当一个 Pod 具有多个容器时，除非您将容器名称放在提示中，否则设置将共享。例如，这些提示为 Pod 中的所有容器配置多行设置，但为名为 sidecar 的容器设置了一个特定的 exclude_lines 提示。

annotations:
  co.elastic.logs/multiline.pattern: '^\['
  co.elastic.logs/multiline.negate: true
  co.elastic.logs/multiline.match: after
  co.elastic.logs.sidecar/exclude_lines: '^DBG'
多组提示编辑

当一个容器需要在其上定义多个输入时，可以使用数字前缀提供多组注释。如果有没有数字前缀的提示，则会将它们组合到一个配置中。

annotations:
  co.elastic.logs/exclude_lines: '^DBG'
  co.elastic.logs/1.include_lines: '^DBG'
  co.elastic.logs/1.processors.dissect.tokenizer: "%{key2} %{key1}"

上面的配置将生成两个输入配置。第一个输入仅处理调试日志，并将其传递给 dissect 分词器。第二个输入处理除调试日志以外的所有内容。

命名空间默认值编辑

可以在命名空间的注释中配置提示，作为缺少 Pod 级别注释时使用的默认值。最终的提示是 Pod 注释和命名空间注释的组合，其中 Pod 注释优先。要启用命名空间默认值，请为命名空间对象配置 add_resource_metadata，如下所示：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      add_resource_metadata:
        namespace:
          include_annotations: ["nsannotation1"]

Docker编辑

Docker 自动发现提供程序支持标签中的提示。要启用它，只需设置 hints.enabled

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true

您可以配置在看到新容器时将启动的默认配置，如下所示：

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true
      hints.default_config:
        type: container
        paths:
          - /var/log/containers/*-${data.container.id}.log  # CRI path

您还可以完全禁用默认设置，因此只会检索标记为 co.elastic.logs/enabled: true 的容器

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true
      hints.default_config.enabled: false

您可以使用有用的信息标记 Docker 容器，以启动 Filebeat 输入，例如

  co.elastic.logs/module: nginx
  co.elastic.logs/fileset.stdout: access
  co.elastic.logs/fileset.stderr: error

上面的标签将 Filebeat 配置为使用 Nginx 模块来收集此容器的日志。访问日志将从 stdout 流中检索，错误日志将从 stderr 流中检索。

您可以使用有用的信息标记 Docker 容器，以解码结构化为 JSON 消息的日志，例如

  co.elastic.logs/json.keys_under_root: true
  co.elastic.logs/json.add_error_key: true
  co.elastic.logs/json.message_key: log

Nomad编辑

Nomad 自动发现提供程序使用meta 语句支持提示。要启用它，只需设置 hints.enabled

filebeat.autodiscover:
  providers:
    - type: nomad
      hints.enabled: true

您可以配置在看到新作业时将启动的默认配置，如下所示：

filebeat.autodiscover:
  providers:
    - type: nomad
      hints.enabled: true
      hints.default_config:
        type: log
        paths:
          - /opt/nomad/alloc/${data.nomad.allocation.id}/alloc/logs/${data.nomad.task.name}.*

您还可以禁用默认配置，以便仅收集明确注释为 "co.elastic.logs/enabled" = "true" 的作业的日志

filebeat.autodiscover:
  providers:
    - type: nomad
      hints.enabled: true
      hints.default_config:
        enabled: false
        type: log
        paths:
          - /opt/nomad/alloc/${data.nomad.allocation.id}/alloc/logs/${data.nomad.task.name}.*

您可以使用 meta 语句注释 Nomad 作业，并提供有用的信息以启动 Filebeat 输入或模块

meta {
  "co.elastic.logs/enabled"           = "true"
  "co.elastic.logs/multiline.pattern" = "^\\["
  "co.elastic.logs/multiline.negate"  = "true"
  "co.elastic.logs/multiline.match"   = "after"
}

如果您使用的是自动发现，那么在大多数情况下，您需要使用add_nomad_metadata处理器来使用 Nomad 元数据丰富事件。此示例将 {Filebeat} 配置为通过 HTTPS 连接到本地 Nomad 代理，并将 Nomad 分配 ID 添加到来自输入的所有事件。稍后在管道中，add_nomad_metadata 处理器将使用该 ID 来丰富事件。

filebeat.autodiscover:
  providers:
    - type: nomad
      address: https://127.0.0.1:4646
      hints.enabled: true
      hints.default_config:
        enabled: false 
        type: log
        paths:
          - /opt/nomad/alloc/${data.nomad.allocation.id}/alloc/logs/${data.nomad.task.name}.*
        processors:
          - add_fields: 
              target: nomad
              fields:
                allocation.id: ${data.nomad.allocation.id}

processors:
  - add_nomad_metadata: 
      when.has_fields.fields: [nomad.allocation.id]
      address: https://127.0.0.1:4646
      default_indexers.enabled: false
      default_matchers.enabled: false
      indexers:
        - allocation_uuid:
      matchers:
        - fields:
            lookup_fields:
              - 'nomad.allocation.id'

默认配置处于禁用状态，这意味着任何没有 "co.elastic.logs/enabled" = "true" 元数据的任务都将被忽略。

add_fields 处理器使用 Nomad 分配 UUID 填充 nomad.allocation.id 字段。

add_nomad_metadata 处理器在全局级别配置，因此只实例化一次，从而节省资源。
« 自动发现 高级用法 »