« 审计日志 kube-controller-manager »
Elastic 文档 ›Elastic 集成 ›Kubernetes

容器日志

编辑

容器日志

编辑

版本

1.68.1 (查看全部)

兼容的 Kibana 版本

8.15.0 或更高版本

支持的无服务器项目类型
这是什么？

安全
可观测性

订阅级别
这是什么？

基本

container-logs 集成收集并解析 Kubernetes 容器的日志。

它需要访问存储容器日志的每个 Kubernetes 节点中的日志文件。 默认为 /var/log/containers/*${kubernetes.container.id}.log。

默认情况下，仅启用容器解析器。其他日志解析器可以作为高级选项配置添加。

基于 Pod 注解的重新路由和保留原始事件

编辑

您可以自定义容器日志事件的路由，并将它们发送到不同的数据集和命名空间，以及基于使用 Pod 注解启用 preserve_original_event。

自定义可以在以下时间发生

  • Pod 定义时，例如，使用部署。
  • Pod 运行时，使用 kubectl 注解 Pod。
在 Pod 定义时设置
编辑

这是一个 Nginx 部署的示例，其中我们设置了 elastic.co/dataset 和 elastic.co/namespace 注解，以分别将容器日志路由到特定的数据集和命名空间。

# nginx-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      annotations:
        elastic.co/dataset: kubernetes.container_logs.nginx
        elastic.co/namespace: nginx
        elastic.co/preserve_original_event: "true"
      labels:
        app: nginx
        app.kubernetes.io/name: myservice
        app.kubernetes.io/version: v0.1.2
        app.kubernetes.io/instance: myservice-abcxzy
    spec:
      containers:
        - name: nginx-container
          image: nginx:latest
          ports:
            - containerPort: 80
在运行时设置
编辑

假设您想要更改容器日志路由并在运行的容器上启用 preserve_original_event。在这种情况下，您可以使用 kubectl 注解 Pod，集成将立即应用它，并将所有后续文档发送到新目的地

这是一个示例，其中我们将运行 Elastic Agent 的 Pod 的容器日志路由到 kubernetes.container_logs.agents 数据集

kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/dataset=kubernetes.container_logs.agents

这是一个类似的示例，用于更改运行 Nginx 的 Pod 的命名空间

kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/namespace=nginx

这是一个示例，用于在运行 Nginx 的 Pod 上启用 preserve_original_event

kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/preserve_original_event=true

您可以通过删除注解来恢复标准设置

kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/dataset-
kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/namespace-
kubectl annotate pods elastic-agent-managed-daemonset-6p22g elastic.co/preserve_original_event-
注解参考
编辑

以下是可用于自定义路由的注解

标签 描述

elastic.co/dataset

定义此 Pod 的目标数据流的数据集。

elastic.co/namespace

定义此 Pod 的目标数据流的命名空间。

elastic.co/preserve_original_event

为此 Pod 启用preserve_original_event。 使用字符串true（不区分大小写）启用

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

1.68.1

错误修复 (查看拉取请求)
修复概述仪表板 Kibana ID

8.15.0 或更高版本

1.68.0

增强 (查看拉取请求)
默认将 filestream 指纹模式用于 container_logs 数据流

8.15.0 或更高版本

1.67.0

增强 (查看拉取请求)
将 pod.{cpu,memory}.usage.node.pct 和 pod.{cpu,memory}.usage.limit.pct 指标添加到概述仪表板

8.15.0 或更高版本

1.66.4

错误修复 (查看拉取请求)
更新群集概述仪表板以使用 container.id 作为过滤器，并替换可视化中的中值函数

8.15.0 或更高版本

1.66.3

增强 (查看拉取请求)
更新 kubernetes.audit_logs 中字段组到关键字的映射

8.15.0 或更高版本

1.66.2

错误修复 (查看拉取请求)
修复 kubernetes.audit_logs 中缺失的处理器块

8.15.0 或更高版本

1.66.1

错误修复 (查看拉取请求)
修复卷仪表板中的标题

8.15.0 或更高版本

1.66.0

增强 (查看拉取请求)
在 Kubernetes 卷仪表板中添加每个 Pod 的卷使用情况

8.15.0 或更高版本

1.65.0

增强 (查看拉取请求)
将 last_terminated_timestamp 指标添加到 kubernetes.state_container 数据流

8.15.0 或更高版本

1.64.0

增强 (查看拉取请求)
将命名空间过滤器移动到组级别配置

8.15.0 或更高版本

1.63.1

错误修复 (查看拉取请求)
修复 kubernetes.audit 摄取管道中的拼写错误

8.15.0 或更高版本

1.63.0

增强 (查看拉取请求)
将 pod.status_reason 和 pod.status.ready_time 字段添加到 state_pod 数据流

8.15.0 或更高版本

1.62.1

错误修复 (查看拉取请求)
修复 kubernetes.audit 摄取管道

8.14.0 或更高版本

1.62.0

增强 (查看拉取请求)
将新映射添加到 kubernetes.audit 数据流

8.14.0 或更高版本

1.61.1

错误修复 (查看拉取请求)
删除 Pod 内存指标的百分比单位

8.14.0 或更高版本

1.61.0

增强 (查看拉取请求)
删除已弃用的字段，并添加缺失的 status.last_terminated_reason 指标

8.14.0 或更高版本

1.60.0

错误修复 (查看拉取请求)
更新群集概述仪表板中的 已用内存与总内存 和 已用内核与总内核 可视化

8.14.0 或更高版本

1.59.0

增强 (查看拉取请求)
将元数据字段添加到 state_namespace 数据流。

8.14.0 或更高版本

1.58.0

增强 (查看拉取请求)
迁移到 format_version v3。

8.12.0 或更高版本

1.57.0

增强 (查看拉取请求)
容器日志基于 Pod 注解保留原始内容。

8.12.0 或更高版本

1.56.0

增强 (查看拉取请求)
将新字段添加到 API 服务器、state_node 和持久卷声明数据流。

8.12.0 或更高版本

1.55.1

增强 (查看拉取请求)
修改字段定义以引用 ECS。

8.11.0 或更高版本

1.55.0

增强 (查看拉取请求)
从状态数据流中删除额外的基础字段。

8.11.0 或更高版本

1.54.0

增强 (查看拉取请求)
将条件支持扩展到剩余的输入

8.11.0 或更高版本

1.53.0

增强 (查看拉取请求)
更新度量可视化的大小

8.11.0 或更高版本

1.52.0

增强 (查看拉取请求)
添加新的数据流 state_namespace。

8.11.0 或更高版本

1.51.0

增强 (查看拉取请求)
将 Deployments 仪表板可视化迁移到 Lens。

8.10.2 或更高版本

1.50.0

增强 (查看拉取请求)
将 Cronjobs 仪表板可视化迁移到 Lens

8.10.2 或更高版本

1.49.0

增强 (查看拉取请求)
将 DaemonSets 仪表板可视化迁移到 Lens。

8.10.2 或更高版本

1.48.0

增强 (查看拉取请求)
将 StatefulSets 仪表板可视化迁移到 Lens。

8.10.2 或更高版本

1.47.0

增强 (查看拉取请求)
将 Jobs 仪表板可视化迁移到 Lens。

8.10.2 或更高版本

1.46.0

增强 (查看拉取请求)
调整字段以适应文件系统信息的更改

8.10.1 或更高版本

1.45.0

增强 (查看拉取请求)
基于 Pod 注解重新路由容器日志。

8.10.0 或更高版本

1.44.0

增强 (查看拉取请求)
引入 kubernetes.deployment.status.* 指标

8.10.0 或更高版本

1.43.1

增强 (查看拉取请求)
为 CCS 用例更新 adHocDataviews 的索引模式

8.8.0 或更高版本

1.43.0

增强 (查看拉取请求)
为 CCS 用例扩展 adHocDataviews 的索引模式

8.8.0 或更高版本

1.42.0

增强 (查看拉取请求)
为 container_logs 数据流添加将事件重新路由到 logs-- 的权限

8.8.0 或更高版本

1.41.0

增强 (查看拉取请求)
为指标数据集启用时间序列数据流。这可以提高存储利用率和查询性能。有关详细信息，请参阅https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html

8.8.0 或更高版本

1.40.0

错误修复 (查看拉取请求)
修复 Kubernetes 集成针对 k8s v1.27.0 的系统测试

8.8.0 或更高版本

1.40.0-beta.2

错误修复 (查看拉取请求)
修复卷仪表板。

—

1.40.0-beta.1

错误修复 (查看拉取请求)
修复缺少排序字段的代理和调度器可视化。

—

1.40.0-beta

增强 (查看拉取请求)
为指标数据流启用 TSDS，beta 测试的事件除外

—

1.39.0

增强 (查看拉取请求)
删除 container.name 作为维度。

8.6.1 或更高版本

1.38.1

增强 (查看拉取请求)
将计数器公式上的最大值切换为最后一个值，并在代理、控制器管理器和调度器仪表板中添加缺少的排序字段。

8.6.1 或更高版本

1.38.0

增强 (查看拉取请求)
修复 Pod 仪表板并从 Api Server 仪表板中删除一些可视化，以支持 TSDB 迁移

8.6.1 或更高版本

1.37.0

增强 (查看拉取请求)
更新代理、控制器管理器和调度器仪表板以支持 TSDB。

8.6.1 或更高版本

1.36.0

增强 (查看拉取请求)
将 container.name 维度添加到容器数据流

8.6.1 或更高版本

1.35.0

增强 (查看拉取请求)
将 NetworkUnavailable 条件添加到状态节点

8.6.1 或更高版本

1.34.1

增强 (查看拉取请求)
在除状态流之外的所有指标数据流上添加对 TSDB 的支持

8.6.1 或更高版本

1.34.0

增强 (查看拉取请求)
在所有状态指标数据流上添加对 TSDB 的支持

8.6.1 或更高版本

1.33.0

增强 (查看拉取请求)
添加 data_stream.dataset 设置和自定义 yaml 输入。

8.6.1 或更高版本

1.32.2

增强 (查看拉取请求)
添加了指向条件筛选器文档的链接

8.6.1 或更高版本

1.32.1

增强 (查看拉取请求)
添加了类别和/或子类别。

8.6.1 或更高版本

1.32.0

增强 (查看拉取请求)
添加有关如何安装警报的文档

8.6.1 或更高版本

1.31.2

增强 (查看拉取请求)
为状态服务数据流添加系统测试

8.6.1 或更高版本

1.31.1

增强 (查看拉取请求)
更新控制器管理器、代理和调度器指标和仪表板

8.6.1 或更高版本

1.31.0

增强 (查看拉取请求)
使用 datas_tream.dataset 作为仪表板的预筛选器并删除标签

8.6.0 或更高版本

1.30.0

增强 (查看拉取请求)
添加缺少的 namespace_uid 和 namespace_labels 字段

8.6.0 或更高版本

1.29.2

错误修复 (查看拉取请求)
修复内存节点使用情况的函数

8.5.0 或更高版本

1.29.1

错误修复 (查看拉取请求)
修复 container_logs 删除的条件设置

8.5.0 或更高版本

1.29.0

错误修复 (查看拉取请求)
从节点信息表中删除“控制平面”列

8.5.0 或更高版本

1.28.2

错误修复 (查看拉取请求)
修复 Pod 内存使用率面板标题

8.5.0 或更高版本

1.28.1

增强 (查看拉取请求)
从集群概述仪表板中删除 statefulset、job 和 cronjob 可视化

8.5.0 或更高版本

1.28.0

增强 (查看拉取请求)
为 Kube-state 指标添加横幅

8.5.0 或更高版本

1.27.1

增强 (查看拉取请求)
修复集群概述仪表板中的错别字

8.5.0 或更高版本

1.27.0

增强 (查看拉取请求)
新的集群概述仪表板

8.5.0 或更高版本

1.26.0

增强 (查看拉取请求)
为 Kubernetes 数据流添加 processors 配置选项

8.4.0 或更高版本

1.25.0

增强 (查看拉取请求)
为容器日志数据流添加 condition 配置选项

8.4.0 或更高版本

1.24.0

增强 (查看拉取请求)
将字段添加到审计日志数据流

8.4.0 或更高版本

1.23.1

增强 (查看拉取请求)
添加缺少的维度字段

8.4.0 或更高版本

1.23.0

增强 (查看拉取请求)
将字段添加到审计日志数据流

8.4.0 或更高版本

1.22.1

增强 (查看拉取请求)
修复 state_job 数据流中重叠的字段

8.4.0 或更高版本

1.22.0

增强 (查看拉取请求)
更新 apiserver 和 controllermanaged 已弃用的字段和仪表板

8.4.0 或更高版本

1.21.2

错误修复 (查看拉取请求)
将容器 ID 和 Pod 名称添加为 Kubernetes 容器日志文件流输入的一部分

8.3.0 或更高版本

1.21.1

增强 (查看拉取请求)
改进了 Kubernetes 文档链接的措辞

8.3.0 或更高版本

1.21.0

增强 (查看拉取请求)
添加新仪表板

8.3.0 或更高版本

1.20.0

增强 (查看拉取请求)
更改 audit_logs 数据流的字段类型，以使用审计事件的 requestObject 和 responseObject 字段。禁用 audit_logs 数据流的动态映射。删除 kubernetes.audit.responseObject.metadata 和 kubernetes.audit.requestObject.metadata

8.2.0 或更高版本

1.19.1

增强 (查看拉取请求)
添加卷字段的文档

8.2.0 或更高版本

1.19.0

增强 (查看拉取请求)
添加丢失的 ecs 字段

8.2.0 或更高版本

1.18.1

增强 (查看拉取请求)
添加多字段的文档

8.2.0 或更高版本

1.18.0

增强 (查看拉取请求)
修复 k8s 概述仪表板

8.2.0 或更高版本

1.17.3

错误修复 (查看拉取请求)
删除错误标记的布尔维度

7.16.0 或更高版本
8.0.0 或更高版本

1.17.2

缺陷修复 (查看拉取请求)
添加缺失的元数据字段

7.16.0 或更高版本
8.0.0 或更高版本

1.17.1

增强 (查看拉取请求)
改进默认 ndjson 解析器配置

—

1.17.0

增强 (查看拉取请求)
默认禁用审计日志收集

—

1.16.0

增强 (查看拉取请求)
文档改进

—

1.15.0

增强 (查看拉取请求)
添加 ssl.certificate_authorities 配置

—

1.14.3

缺陷修复 (查看拉取请求)
向 state_container 数据流添加缺失的 job.name 和 cronjob.name 字段

—

1.14.2

缺陷修复 (查看拉取请求)
向容器相关数据流添加缺失的 job.name 和 cronjob.name 字段

—

1.14.1

缺陷修复 (查看拉取请求)
添加元数据生成器添加的缺失的 job.name 和 cronjob.name 字段

—

1.14.0

增强 (查看拉取请求)
调整 state_metrics 设置

—

1.13.0

增强 (查看拉取请求)
更新至 ECS 8.0

—

1.12.0

增强 (查看拉取请求)
公开 add_recourse_metadata 配置选项

—

1.11.0

增强 (查看拉取请求)
为 pod 和容器数据流添加 memory.working_set.limit.pct

—

1.10.0

增强 (查看拉取请求)
在 state_job 数据流中添加领导者选举

—

1.9.0

增强 (查看拉取请求)
添加缺失字段

7.16.0 或更高版本
8.0.0 或更高版本

1.8.1

缺陷修复 (查看拉取请求)
将 kubernetes.volume.fs.used.pct 设置为 scaled_float

7.16.0 或更高版本
8.0.0 或更高版本

1.8.0

增强 (查看拉取请求)
支持 json 日志解析

7.16.0 或更高版本
8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
在 Kubernetes 集成中添加新的审计日志数据流

7.16.0 或更高版本
8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
为事件数据流添加 skip_older 选项

7.16.0 或更高版本
8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
恢复 Kubernetes 命名空间字段的重大更改

7.16.0 或更高版本
8.0.0 或更高版本

1.4.2

增强 (查看拉取请求)
添加维度字段

—

1.4.1

增强 (查看拉取请求)
移除 Kubernetes 概览仪表板上索引模式的覆盖

8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
将 filestream 输入用于 container_logs 数据流

—

1.3.3

缺陷修复 (查看拉取请求)
修复基于 k8s 标签的数据流的条件 & 在管道中添加条件

—

1.3.2

增强 (查看拉取请求)
将代理的默认主机设置为 localhost

—

1.3.1

增强 (查看拉取请求)
与指南保持一致

—

1.3.0

增强 (查看拉取请求)
添加 container_logs ecs 字段

—

1.2.1

缺陷修复 (查看拉取请求)
更新 Kubernetes cluster_ip 字段类型

—

1.2.0

增强 (查看拉取请求)
更新 Kubernetes 命名空间字段

—

1.1.1

缺陷修复 (查看拉取请求)
更新 Kubernetes 集成自述文件

—

1.1.0

增强 (查看拉取请求)
更新至 ECS 1.12.0

7.15.0 或更高版本

1.0.0

增强 (查看拉取请求)
发布 Kubernetes 作为 GA

—

0.14.1

增强 (查看拉取请求)
更新 Kubernetes 集成中 kubernetes 代理数据流的默认主机

—

0.14.0

增强 (查看拉取请求)
在 Kubernetes 集成中添加新的容器日志数据流

—

0.13.0

增强 (查看拉取请求)
利用动态 Kubernetes 提供程序为控制器和调度程序数据流提供服务

—

0.12.2

缺陷修复 (查看拉取请求)
为 pod 和容器数据流添加缺失的 "kubernetes.daemonset.name" 字段

—

0.12.1

缺陷修复 (查看拉取请求)
在 [Metrics Kubernetes] 概览仪表板和集成概览页面上的仪表板部分中，为 "orchestrator.cluster.name" 字段添加缺失的集群过滤器

—

0.12.0

增强 (查看拉取请求)
使用 orchestrator.cluster.url 和 orchestrator.cluster.name 更新 Kubernetes 包 ecs 字段

—

0.11.1

增强 (查看拉取请求)
转义文档中的特殊字符

—

0.11.0

增强 (查看拉取请求)
更新文档以符合 mdx 规范

—

0.10.0

增强 (查看拉取请求)
更新集成描述

—

0.9.1

缺陷修复 (查看拉取请求)
为 state_pod 和 state_container 添加缺失的 "kubernetes.daemonset.name" 字段

—

0.9.0

增强 (查看拉取请求)
使用 state_job 数据流增强 Kubernetes 包

—

0.8.0

增强 (查看拉取请求)
在 Kubernetes 集成中利用领导者选举

—

0.7.0

增强 (查看拉取请求)
将 _meta 信息添加到 Kubernetes 字段

—

0.6.0

增强 (查看拉取请求)
使用 input_groups 引入 Kubernetes 包粒度

—

0.5.3

增强 (查看拉取请求)
添加缺失的 "kubernetes.statefulset.replicas.ready" 字段

—

0.5.2

缺陷修复 (查看拉取请求)
修复堆栈兼容性

—

0.5.1

缺陷修复 (查看拉取请求)
修复对环境变量的引用

—

0.5.0

增强 (查看拉取请求)
为 controllermanager 和 scheduler 数据流添加缺失的 "kubernetes.selectors.*" 字段和额外的 https 设置

—

0.4.5

增强 (查看拉取请求)
添加缺失的 "kubernetes.pod.ip" 字段

—

0.4.4

增强 (查看拉取请求)
更新包所有者

—

0.4.3

Bug 修复 (查看拉取请求)
更正示例事件文件。

—

0.4.2

Bug 修复 (查看拉取请求)
更改 kibana.version 约束使其更加保守。

—

0.4.1

增强 (查看拉取请求)
添加缺失字段

—

0.1.0

增强 (查看拉取请求)
初始发布

—
« 审计日志 kube-controller-manager »