监控 Kubernetes：观察 Kubernetes 部署的健康状况和性能

在 Kubernetes 等容器化环境中运行的应用程序带来了独特的监控挑战：如何在数千（或数百万）个容器中运行的数百个微服务上诊断和解决问题，这些容器在短暂且可丢弃的 Pod 中运行？

成功的 Kubernetes 监控解决方案需要满足以下几个要求

您将学到什么编辑

本指南介绍如何使用 Elastic 可观测性来观察应用程序的所有层，包括编排软件本身

本指南介绍如何使用 Elastic Agent 清单文件将 Elastic 监控代理部署为 DaemonSet。有关其他部署选项，请参阅来自 Elastic Cloud on Kubernetes (ECK) 的 Kubernetes 运算符和自定义资源定义。

监控架构编辑

Elastic Stack 为监控 Kubernetes 提供以下组件

Elastic Agent 的默认安装部署到 Kubernetes 作为 DaemonSet，以确保在集群的每个节点上运行一个实例。它从 Kubernetes 上运行的 Pod、容器和应用程序收集日志和指标。

元数据编辑

Elastic Agent 提供处理器，用于将元数据添加到事件中。元数据对于对相关数据进行分组和探索非常有价值。例如，在分析容器日志时，您需要了解主机和容器名称，并能够关联日志、指标和跟踪。

默认部署包括处理器（如果需要），用于使用云和主机元数据丰富事件。

有关这些处理器的更多信息，请参阅 add_cloud_metadata 和 add_host_metadata 文档。

默认情况下，Kubernetes 集成使用有价值的元数据丰富日志和指标。

默认情况下，所有 Kubernetes 指标都使用元数据进行丰富。丰富在代码中进行，并且可以使用每个数据集上的 add_resource_metadata 块进行配置。有关配置 add_resource_metadata 块的更多信息，请参阅 配置 kubelet API 元数据丰富 和 配置 kube-state-metrics 元数据丰富。

默认情况下，所有 Kubernetes 日志都使用元数据进行丰富。有关配置元数据丰富的更多信息，请参阅 收集 Kubernetes 容器日志。

现在您已经对监控架构有了基本的了解，让我们学习如何将监控部署到您的 Kubernetes 环境中。

开始之前编辑

在您可以监控 Kubernetes 之前，您需要以下内容

第 1 部分：添加和配置 Kubernetes 集成编辑

要开始从您的 Kubernetes 集群收集日志和指标，首先将 Kubernetes 集成 添加到您的策略，并配置您要收集的指标和日志。

步骤 1：将 Kubernetes 集成添加到您的部署编辑

按照以下步骤将 Kubernetes 集成添加到您的策略

继续 步骤 2：配置您的 Kubernetes 集成。

步骤 2：配置您的 Kubernetes 集成编辑

Kubernetes 集成可以从多个组件获取指标和日志。从 添加 Kubernetes 集成 页面，配置您要收集的指标和日志的选项。以下部分概述了配置选项。

收集指标

收集有关 Kubernetes 集群和在其上运行的工作负载的指标是 Kubernetes 可观测性的一个关键方面。您需要收集有关基础设施上运行的资源（例如，Kubernetes 集群的机器）的指标，有关整个集群的指标，以及有关容器和 Pod 的单个指标。具体来说，您需要监控以下内容的健康状况和性能

Elastic Agent 与 Kubernetes 集成一起提供了一种统一的解决方案来监控 Kubernetes 技术栈的所有层，因此您不需要多种技术来收集指标。

您可以选择以下选项来收集有关 Kubernetes 集群和在其上运行的工作负载的指标

收集日志

收集和分析 Kubernetes 核心组件和在 Kubernetes 上运行的各种应用程序的日志是 Kubernetes 可观测性的一个强大工具。在 Kubernetes Pod 中运行的容器会将日志发布到 stdout 或 stderr。

您可以选择以下选项来收集 Kubernetes 日志

从 kubelet API 收集 Kubernetes 指标编辑

从 kubelet API 收集指标默认情况下处于启用状态。Kubelet 是在每个 Kubernetes 节点上运行的代理，它对于管理单个 Pod 和托管它们的节点至关重要。有关 kubelet 的更多信息，请参阅 Kubernetes kubelet 文档。

Elastic Agent 与 Kubernetes 集成一起可以从 kubelet API 收集指标，以收集有关 Kubernetes 节点、Pod、容器和其他资源状态的重要信息。pale 展开以下列表以查看来自 kubelet API 的所有可用指标。

配置 kubelet API 选项edit

为每个 kubelet API 选项提供以下信息

配置 kubelet API 元数据丰富edit

在 Kubernetes 容器指标 和 Kubernetes Pod 指标 下，您可以从 高级选项 → 添加节点和命名空间元数据 配置元数据丰富。

从这里开始，更新 add_resource_metadata 块以配置丰富。

 add_resource_metadata:
   namespace:
     include_labels: ["namespacelabel1"]
   node:
     include_labels: ["nodelabel2"]
     include_annotations: ["nodeannotation1"]
   deployment: false

从 kube-state-metrics 收集 Kubernetes 指标edit

从 kube-state-metrics 收集指标默认情况下处于启用状态。 kube-state-metrics 服务提供有关 Kubernetes 对象运行状况的集群范围指标。有关更多信息，请参阅 kube-state-metrics 文档。

kube-state-metrics 提供水平分片以支持大型 Kubernetes 部署。有关更多信息，请参阅 kube-state-metrics 分片 文档。

使用 Kubernetes 集成，您可以使用 kube-state-metrics 收集大量指标。展开以下列表以查看来自 kube-state-metrics 的所有可用指标。

配置 kube-state-metrics 选项edit

为每个 kube-state-metrics 选项提供以下信息

配置 kube-state-metrics 元数据丰富edit

在 Kubernetes 容器指标 和 Kubernetes Pod 指标 下，您可以从 高级选项 → 添加节点和命名空间元数据 配置元数据丰富。

从这里开始，更新 add_resource_metadata 块以配置丰富。

add_resource_metadata:
  namespace:
   enabled: true
    #use_regex_include: false
    include_labels: ["namespacelabel1"]
    #use_regex_exclude: false
    #exclude_labels: ["namespacelabel2"]
  node:
   enabled: true
    #use_regex_include: false
    include_labels: ["nodelabel2"]
    include_annotations: ["nodeannotation1"]
    #use_regex_exclude: false
    #exclude_labels: ["nodelabel3"]
  #deployment: false
  #cronjob: false

从 Kubernetes API 服务器收集 Kubernetes 指标edit

从 kube-apiserver 收集指标默认情况下处于启用状态。 kube-apiserver 设置并验证 Pod、服务和其他 API 对象。这些指标提供了有关 API 服务器性能、工作负载和运行状况的洞察。

有关收集的指标的更多信息，请参阅 kube-apiserver 指标。

配置 Kubernetes API 服务器选项edit

提供以下信息以收集 kube-apiserver 指标

从 Kubernetes 代理收集 Kubernetes 指标edit

kube-proxy 在每个节点上运行并维护网络规则。从 kube-proxy 收集指标默认情况下处于启用状态。这些指标提供了有关代理网络活动、性能和资源使用情况的洞察。

有关收集的指标的更多信息，请参阅 kube-proxy 指标。

配置 Kubernetes 代理选项edit

提供以下信息以收集 Kubernetes 代理指标

从 Kubernetes 调度程序收集 Kubernetes 指标edit

kube-scheduler 将没有节点分配的新 Pod 分配到最合适的节点。启用此选项以从 kube-scheduler 获取指标。这些指标提供了有关 kube-scheduler 性能、资源使用情况和运行状况的洞察。

有关收集的指标的更多信息，请参阅 kube-scheduler 指标。

配置 Kubernetes 调度程序选项edit

提供以下信息以收集 Kubernetes 调度程序指标

从 Kubernetes 控制器管理器收集 Kubernetes 指标edit

kube-controller-manager 规范集群的状态。启用此选项以从 kube-controller-manager 获取指标。这些指标提供了有关 kube-controller-manager 性能、资源使用情况和运行状况的洞察。

有关收集的指标的更多信息，请参阅kube-controller-manager 指标。

配置 Kubernetes 控制器管理器选项edit

提供以下信息以收集 kube-controller-manager 指标

从 Kubernetes API 服务器收集 Kubernetes 事件edit

事件指标为您提供了集群中发生情况的总体视图。这些指标有助于您了解集群中发生的情况，并提高可靠性和稳定性。默认情况下，从 Kubernetes API 服务器收集 Kubernetes 事件处于启用状态。

有关收集的指标的更多信息，请参阅事件指标。

配置来自 Kubernetes API 服务器的事件edit

提供以下信息以收集 Kubernetes 事件指标

收集 Kubernetes 容器日志edit

默认情况下，收集和解析 Kubernetes 容器日志处于启用状态。在 Kubernetes Pod 中运行的容器会将日志发布到 stdout 或 stderr。这些日志被写入 kubelet 已知的位置。容器解析器默认情况下处于启用状态。您可以在 高级设置 中启用其他解析器。

元数据丰富也默认情况下处于启用状态，并且基于 Kubernetes 提供程序。使用 Kubernetes 提供程序的 add_resource_metadata 块来配置它。有关配置提供程序的更多信息，请参阅Kubernetes 提供程序 文档。

有关收集容器日志的更多信息，请参阅Kubernetes 容器日志。

配置 Kubernetes 容器日志edit

提供以下信息以收集容器日志

收集 Kubernetes 审计日志edit

启用此选项以收集审计日志。Kubernetes 审计日志记录来自内部和外部组件的 Kubernetes API 的请求。这些日志有助于您了解集群行为并调试问题。

有关收集审计日志的更多信息，请参阅Kubernetes 审计日志。

第 2 部分：配置和安装独立 Elastic Agentedit

配置完集成后，您需要下载并更新清单。首先，通过完成以下步骤下载清单

下载清单后，打开它并在 DaemonSet 中更新 ES_USERNAME 和 ES_PASSWORD 环境变量，使其与您的 Elasticsearch 凭据匹配。

您还可以进一步修改清单以满足您的需求。例如，您可能希望启用自动发现以自动发现容器日志。有关在清单中启用自动发现的更多信息，请参阅 Fleet 指南中的自动发现文档。

准备部署 Elastic Agent 后

如果您在配置或安装 Elastic Agent 时遇到任何问题，请参阅调试独立 Elastic Agent。

第 3 部分：探索日志和指标edit

使用 Kibana 查看 Elastic Agent 收集的指标和日志数据。有关查看数据的更多信息，请参阅以下部分。

查看性能和运行状况指标edit

要查看 Elastic Agent 收集的性能和运行状况指标，请打开 Kibana 并转到 可观察性 → 基础设施。

在 清单 页面上，您可以切换不同的视图以查看 Kubernetes 上运行的容器和 Pod 的概述

有关使用清单页面的更多信息，请参阅按资源类型查看基础设施指标。

在 指标资源管理器 页面上，您可以对正在监控的资源的指标进行分组和分析。

有关使用 指标资源管理器 页面的更多信息，请参阅随时间推移探索基础设施指标。

查看日志edit

要查看 Kubernetes 日志，请打开 Kibana 并转到 可观察性 → 日志资源管理器。使用 日志资源管理器，您可以快速搜索和过滤日志数据，获取有关日志字段结构的信息，并将您的发现显示在可视化中。

从 日志资源管理器 中，您可以从数据选择器中选择 Kubernetes 集成以查看您的 Kubernetes 数据。

从这里，您可以过滤日志数据并深入研究单个日志以查找和解决问题。有关更多信息，请参阅

第 4 部分：监控应用程序性能edit

借助 Elastic 应用程序性能监控 (APM)，您可以快速排查和解决应用程序性能问题。

考虑一下延迟峰值 - APM 可以帮助您将调查范围缩小到单个服务。由于您还摄取并关联了日志和指标，因此您可以将问题与特定 Kubernetes Pod 的 CPU 和内存利用率或错误日志条目相关联。

步骤 1：设置 APMedit

应用程序监控数据从在 Kubernetes 中运行的应用程序流式传输到 APM，在那里它被验证、处理并转换为 Elasticsearch 文档。

在使用 Kubernetes 时，有许多方法可以部署 APM，但本指南假设您正在使用我们托管的 Elastic Cloud 上的 Elasticsearch 服务。如果您尚未这样做，请在Elasticsearch 服务控制台 中启用 APM。

如果您想自己管理 APM，则有一些替代方案

步骤 2：保存您的秘密令牌edit

一个秘密令牌 用于保护 APM 代理和 APM Server 之间的通信。要在 Kibana 中创建或更新您的秘密令牌

为了避免公开秘密令牌，您可以将其存储在 Kubernetes 秘密中。例如

kubectl create secret generic apm-secret --from-literal=ELASTIC_APM_SECRET_TOKEN=asecretpassword --namespace=kube-system 

如果您自己管理 APM Server，请参阅秘密令牌，了解有关如何设置秘密令牌的说明。

如果您使用 ECK 设置 APM Server，则运算符会自动为您生成一个 {APM-server-name}-apm-token 秘密。

步骤 3：安装和配置 APM 代理edit

在大多数情况下，设置 APM 代理并因此检测您的应用程序就像安装一个库并添加几行代码一样简单。

选择您的应用程序的语言以获取详细信息

go get go.elastic.co/apm

import (
	"net/http"

	"go.elastic.co/apm/module/apmhttp"
)

func main() {
	mux := http.NewServeMux()
	...
	http.ListenAndServe(":8080", apmhttp.Wrap(mux))
}

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0 
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent'] 

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic" 
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-dotnet-agent
        image: busybox
        command: ["/bin/sh","-c"] 
        args: 
          - wget -qO './elastic-apm-agent/ElasticApmAgent.zip' https://github.com/elastic/apm-agent-dotnet/releases/download/1.7.0/ElasticApmAgent_1.7.0.zip;
            cd elastic-apm-agent;
            cat ElasticApmAgent.zip | busybox unzip -;
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent

      # ...
      containers:
      - name: your-app-container
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent
        env:
        # ...
        - name: DOTNET_STARTUP_HOOKS
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: DOTNET_STARTUP_HOOKS 
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

npm install elastic-apm-node --save

var apm = require('elastic-apm-node').start()

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

rpm -ivh <package-file>.rpm

dpkg -i <package-file>.deb

apk add --allow-untrusted <package-file>.apk

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

# Django
pip install elastic-apm

# Flask
pip install elastic-apm[flask]

INSTALLED_APPS = (
   # ...
   'elasticapm.contrib.django',
)

from elasticapm.contrib.flask import ElasticAPM

app = Flask(__name__)

apm = ElasticAPM(app)

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

gem 'elastic-apm'

# config.ru

app = lambda do |env|
  [200, {'Content-Type' => 'text/plain'}, ['ok']]
end

# Wraps all requests in transactions and reports exceptions
use ElasticAPM::Middleware

# Start an instance of the Agent
ElasticAPM.start()

run app

# Gracefully stop the agent when process exits.
# Makes sure any pending transactions have already sent.
at_exit { ElasticAPM.stop }

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

步骤 4：配置 Kubernetes 数据edit

在大多数情况下，APM 代理会自动从容器内部读取 Kubernetes 数据并将其发送到 APM Server。如果不是这种情况，或者您希望覆盖此数据，您可以设置代理读取的环境变量。这些环境变量通过 Kubernetes pod 规范中的 向下 API 设置

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

下表将这些环境变量映射到 APM 元数据事件字段

步骤 5：部署您的应用程序edit

APM 代理与您的应用程序一起部署。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: <<your-app>>
  namespace: kube-system
  labels:
    app: <<your-app>>
    service: <<your-app>>
spec:
  replicas: 1
  selector:
    matchLabels:
      app: <<your-app>>
  template:
    metadata:
      labels:
        app: <<your-app>>
        service: <<your-app>>
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      volumes:
      - name: elastic-apm-agent
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent']
      containers:
      - name: <<your-app>>
        image: <<your-app>>
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        env:
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here"
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN
        - name: ELASTIC_APM_SERVICE_NAME
          value: "petclinic"
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic"
        - name: ELASTIC_APM_ENVIRONMENT
          value: test
        - name: JAVA_TOOL_OPTIONS
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

kubectl apply -f demo.yml

在 Kibana 中查看您的跟踪edit

要查看应用程序的跟踪数据，请打开 Kibana 并转到 可观察性 → 服务。

APM 应用程序允许您实时监控软件服务和应用程序：可视化服务上的详细性能信息，识别和分析错误，以及监控主机级和代理特定指标（如 JVM 和 Go 运行时指标）。

只需点击几下即可访问应用程序级洞察，这可以大幅减少您花费在调试错误、缓慢响应时间和崩溃上的时间。

最棒的是，由于 Kubernetes 环境变量已映射到 APM 元数据事件，因此您可以按 Kubernetes namespace、node.name、pod.name 和 pod.uid 筛选跟踪数据。

下一步edit