添加 Docker 元数据

编辑

add_docker_metadata 处理器使用来自 Docker 容器的相关元数据注释每个事件。在启动时,它会检测 Docker 环境并缓存元数据。只有在检测到有效配置且处理器能够访问 Docker API 时,事件才会使用 Docker 元数据进行注释。

每个事件都用以下内容注释:

  • 容器 ID
  • 名称
  • 镜像
  • 标签

当在容器中运行 Filebeat 时,您需要提供对 Docker Unix 套接字的访问权限,以便 add_docker_metadata 处理器能够工作。您可以通过将套接字挂载到容器内来实现这一点。例如:

docker run -v /var/run/docker.sock:/var/run/docker.sock ...

为了避免权限问题,您可能还需要向 docker run 标志添加 --user=root。因为用户必须是 docker 组的成员才能访问 /var/run/docker.sock,如果 Filebeat 在容器内以非 root 身份运行,则需要 root 访问权限。

如果 Docker 守护程序重新启动,则挂载的套接字将失效,元数据将停止工作。在这种情况下,有两种选择:

  • 每次 Docker 重新启动时都重新启动 Filebeat
  • 挂载整个 /var/run 目录(而不仅仅是套接字)
processors:
  - add_docker_metadata:
      host: "unix:///var/run/docker.sock"
      #match_fields: ["system.process.cgroup.id"]
      #match_pids: ["process.pid", "process.parent.pid"]
      #match_source: true
      #match_source_index: 4
      #match_short_id: true
      #cleanup_timeout: 60
      #labels.dedot: false
      # To connect to Docker over TLS you must specify a client and CA certificate.
      #ssl:
      #  certificate_authority: "/etc/pki/root/ca.pem"
      #  certificate:           "/etc/pki/client/cert.pem"
      #  key:                   "/etc/pki/client/cert.key"

它具有以下设置:

host
(可选)Docker 套接字(UNIX 或 TCP 套接字)。默认使用 unix:///var/run/docker.sock
ssl
(可选)连接到 Docker 套接字时使用的 SSL 配置。
match_fields
(可选)用于匹配容器 ID 的字段列表,其中至少一个字段应包含容器 ID 以获取事件增强。
match_pids
(可选)包含进程 ID 的字段列表。如果进程在 Docker 中运行,则该事件将被增强。默认值为 ["process.pid", "process.parent.pid"]
match_source
(可选)从 log.file.path 字段中存在的日志路径匹配容器 ID。默认启用。
match_short_id
(可选)从 log.file.path 字段中存在的日志路径匹配容器短 ID。默认禁用。这允许匹配容器 ID 的前 12 个字符的目录名称。例如,/var/log/containers/b7e3460e2b21/*.log
match_source_index
(可选)在由 / 分割的源路径中查找容器 ID 的索引。它默认为 4,以匹配 /var/lib/docker/containers/<container_id>/*.log
cleanup_timeout
(可选)认为我们可以清理并忘记容器元数据的非活动时间,默认为 60 秒。
labels.dedot
(可选)默认为 false。如果设置为 true,则将标签中的点替换为 _