教程：观察您的 Kubernetes 部署

在 Kubernetes 等容器化环境中运行的应用程序带来了独特的监控挑战：如何在数千（或数百万）个容器中运行的数百个微服务上诊断和解决问题，这些容器在短暂且可丢弃的 Pod 中运行？

成功的 Kubernetes 监控解决方案需要满足一些要求

本指南介绍如何使用 Elastic 可观测性来观察应用程序的所有层，包括编排软件本身。

本指南介绍如何使用 Elastic Agent 清单文件将 Elastic 监控代理部署为 DaemonSet。有关其他部署选项，请参阅来自 Elastic Cloud on Kubernetes (ECK) 的 Kubernetes 运算符和自定义资源定义。

Elastic Stack 为监控 Kubernetes 提供以下组件：

Elastic Agent 的默认安装部署到 Kubernetes 中作为 DaemonSet，以确保在集群的每个节点上都运行一个实例。它收集来自 Kubernetes 上运行的 Pod、容器和应用程序的日志和指标。

Elastic Agent 提供处理器，用于向事件添加元数据。元数据对于分组和探索相关数据非常有价值。例如，在分析容器日志时，您需要知道主机和容器名称，并能够关联日志、指标和跟踪。

默认部署包括处理器（如有需要），用于使用云和主机元数据丰富事件。

有关这些处理器的更多信息，请参阅 add_cloud_metadata 和 add_host_metadata 文档。

默认情况下，Kubernetes 集成使用有价值的元数据丰富日志和指标。

默认情况下，所有 Kubernetes 指标都使用元数据进行了丰富。丰富过程在代码中发生，可以使用每个数据集上的 add_resource_metadata 块进行配置。有关配置 add_resource_metadata 块的更多信息，请参阅 配置 kubelet API 元数据丰富 和 配置 kube-state-metrics 元数据丰富。

默认情况下，所有 Kubernetes 日志都使用元数据进行了丰富。有关配置元数据丰富的更多信息，请参阅 收集 Kubernetes 容器日志。

现在您已经对监控架构有了基本的了解，让我们学习如何将监控部署到您的 Kubernetes 环境。

在监控 Kubernetes 之前，您需要以下内容：

要开始收集来自 Kubernetes 集群的日志和指标，首先将 Kubernetes 集成 添加到您的策略中，并配置您要收集的指标和日志。

请按照以下步骤将 Kubernetes 集成添加到您的策略：

继续执行 步骤 2：配置您的 Kubernetes 集成。

Kubernetes 集成可以从多个组件获取指标和日志。在 添加 Kubernetes 集成 页面中，配置您要收集的指标和日志的选项。以下部分概述了配置选项。

收集指标

收集有关 Kubernetes 集群及其上运行的工作负载的指标是 Kubernetes 可观测性的一个关键方面。您需要收集有关基础架构上运行的资源（例如，Kubernetes 集群的机器）的指标、整个集群的指标以及容器和 Pod 的单个指标。具体来说，您需要监控以下内容的运行状况和性能：

Elastic Agent 与 Kubernetes 集成一起提供了一种统一的解决方案来监控 Kubernetes 技术栈的所有层，因此您无需使用多种技术来收集指标。

您可以使用以下选项来收集有关 Kubernetes 集群及其上运行的工作负载的指标：

收集日志

收集和分析 Kubernetes 核心组件和 Kubernetes 上运行的各种应用程序的日志是 Kubernetes 可观测性的强大工具。在 Kubernetes Pod 中运行的容器会将日志发布到 stdout 或 stderr。

您可以使用以下选项来收集 Kubernetes 日志：

从 kubelet API 收集指标默认为启用状态。Kubelet 是在每个 Kubernetes 节点上运行的代理，对于管理单个 Pod 和承载它们的节点至关重要。有关 kubelet 的更多信息，请参阅 Kubernetes kubelet 文档。

Elastic Agent 与 Kubernetes 集成一起可以从 kubelet API 收集指标，以收集有关 Kubernetes 节点、Pod、容器和其他资源状态的重要信息。展开以下列表以查看 kubelet API 中所有可用的指标。

为每个 kubelet API 选项提供以下信息：

在 Kubernetes 容器指标 和 Kubernetes Pod 指标 下，您可以从 高级选项 → 添加节点和命名空间元数据 配置元数据增强。

在此处，更新 add_resource_metadata 块以配置增强。

 add_resource_metadata:
   namespace:
     include_labels: ["namespacelabel1"]
   node:
     include_labels: ["nodelabel2"]
     include_annotations: ["nodeannotation1"]
   deployment: false

从 kube-state-metrics 收集指标默认情况下是开启的。kube-state-metrics 服务提供有关 Kubernetes 对象运行状况的集群范围指标。有关更多信息，请参阅 kube-state-metrics 文档。

kube-state-metrics 提供水平分片以支持大型 Kubernetes 部署。有关更多信息，请参阅 kube-state-metrics 分片 文档。

使用 Kubernetes 集成，您可以使用 kube-state-metrics 收集许多指标。展开以下列表以查看 kube-state-metrics 中所有可用的指标。

为每个 kube-state-metrics 选项提供以下信息

在 Kubernetes 容器指标 和 Kubernetes Pod 指标 下，您可以从 高级选项 → 添加节点和命名空间元数据 配置元数据增强。

在此处，更新 add_resource_metadata 块以配置增强。

add_resource_metadata:
  namespace:
   enabled: true
    #use_regex_include: false
    include_labels: ["namespacelabel1"]
    #use_regex_exclude: false
    #exclude_labels: ["namespacelabel2"]
  node:
   enabled: true
    #use_regex_include: false
    include_labels: ["nodelabel2"]
    include_annotations: ["nodeannotation1"]
    #use_regex_exclude: false
    #exclude_labels: ["nodelabel3"]
  #deployment: false
  #cronjob: false

从 kube-apiserver 收集指标默认情况下是开启的。kube-apiserver 设置并验证 Pod、服务和其他 API 对象。这些指标提供了对 API 服务器性能、工作负载和运行状况的洞察。

有关收集的指标的更多信息，请参阅 kube-apiserver 指标。

提供以下信息以收集 kube-apiserver 指标

kube-proxy 在每个节点上运行并维护网络规则。从 kube-proxy 收集指标默认情况下是开启的。这些指标提供了对代理网络活动、性能和资源使用情况的洞察。

有关收集的指标的更多信息，请参阅 kube-proxy 指标。

提供以下信息以收集 Kubernetes 代理指标

kube-scheduler 将没有节点分配的新 Pod 分配到最合适的节点。启用此选项可获取来自 kube-scheduler 的指标。这些指标提供了有关 kube-scheduler 的性能、资源使用情况和运行状况的洞察。

有关收集的指标的更多信息，请参阅 kube-scheduler 指标。

提供以下信息以收集 Kubernetes 调度程序指标

kube-controller-manager 规范集群的状态。启用此选项可获取来自 kube-controller-manager 的指标。这些指标提供了有关 kube-controller-manager 的性能、资源使用情况和运行状况的洞察。

有关收集的指标的更多信息，请参阅 kube-controller-manager 指标。

提供以下信息以收集 kube-controller-manager 指标

事件指标为您提供了集群中发生情况的整体视图。这些指标可帮助您了解集群中发生的情况，并提高可靠性和稳定性。从 Kubernetes API 服务器收集 Kubernetes 事件默认情况下是开启的。

有关收集的指标的更多信息，请参阅 事件指标。

提供以下信息以收集 Kubernetes 事件指标

默认情况下启用 Kubernetes 容器日志的收集和解析。在 Kubernetes Pod 中运行的容器将日志发布到 stdout 或 stderr。这些日志将写入 kubelet 已知的某个位置。容器解析器默认启用。您可以在高级设置中启用其他解析器。

元数据富集也默认启用，并基于 Kubernetes 提供程序。使用 Kubernetes 提供程序的add_resource_metadata块进行配置。有关配置提供程序的更多信息，请参阅Kubernetes 提供程序文档。

有关收集容器日志的更多信息，请参阅Kubernetes 容器日志。

提供以下信息以收集容器日志

启用此选项以收集审计日志。Kubernetes 审计日志记录来自内部和外部组件的 Kubernetes API 请求。这些日志可帮助您了解集群行为并调试问题。

有关收集审计日志的更多信息，请参阅Kubernetes 审计日志。

配置集成后，您需要下载并更新清单。首先，请完成以下步骤下载清单

下载清单后，打开它并更新 DaemonSet 中的ES_USERNAME和ES_PASSWORD环境变量，以匹配您的 Elasticsearch 凭据。

您还可以进一步修改清单以满足您的需求。例如，您可能希望启用自动发现以自动发现容器日志。有关在清单中启用自动发现的更多信息，请参阅 Fleet 指南中的自动发现文档。

准备好部署 Elastic Agent 后

如果您在配置或安装 Elastic Agent 时遇到任何问题，请参阅调试独立 Elastic Agent。

使用 Kibana 查看 Elastic Agent 收集的指标和日志数据。有关查看数据的更多信息，请参阅以下部分。

要查看 Elastic Agent 收集的性能和健康指标，请在主菜单中查找基础架构或使用全局搜索字段。

在清单页面上，您可以切换不同的视图以查看 Kubernetes 上运行的容器和 Pod 的概述

有关使用清单页面的更多信息，请参阅按资源类型查看基础架构指标。

在指标资源管理器页面上，您可以对正在监控的资源的指标进行分组和分析。

有关使用指标资源管理器页面的更多信息，请参阅随时间推移浏览基础架构指标。

在全局搜索字段中查找日志资源管理器。

使用日志资源管理器，您可以快速搜索和过滤日志数据，获取有关日志字段结构的信息，并在可视化中显示您的发现。

从日志资源管理器中，您可以从数据选择器中选择 Kubernetes 集成以查看您的 Kubernetes 数据。

在这里，您可以过滤日志数据并深入研究单个日志以查找和解决问题。有关更多信息，请参阅

借助 Elastic 应用程序性能监控 (APM)，您可以快速分类和解决应用程序性能问题。

考虑一下延迟峰值——APM 可以帮助您将调查范围缩小到单个服务。由于您还摄取并关联了日志和指标，因此您可以将问题与特定 Kubernetes Pod 的 CPU 和内存利用率或错误日志条目关联起来。

应用程序监控数据从在 Kubernetes 中运行的应用程序流式传输到 APM，在 APM 中，它会被验证、处理并转换为 Elasticsearch 文档。

在使用 Kubernetes 时，部署 APM 的方法有很多，但这篇指南假设您正在使用 Elastic Cloud 上的托管 Elasticsearch 服务。如果您尚未这样做，请在Elasticsearch 服务控制台中启用 APM。

如果您想自己管理 APM，还有其他一些选择

使用密钥令牌来保护 APM 代理和 APM Server 之间的通信安全。要在 Kibana 中创建或更新密钥令牌

为了避免公开密钥令牌，您可以将其存储在 Kubernetes 密钥中。例如

kubectl create secret generic apm-secret --from-literal=ELASTIC_APM_SECRET_TOKEN=asecretpassword --namespace=kube-system 

如果您自己管理 APM Server，请参阅密钥令牌，了解如何设置密钥令牌。

如果您使用 ECK 设置 APM Server，操作员会自动为您生成{APM-server-name}-apm-token密钥。

在大多数情况下，设置 APM 代理并从而检测您的应用程序就像安装库并添加几行代码一样简单。

选择您的应用程序的语言以获取详细信息

go get go.elastic.co/apm

import (
	"net/http"

	"go.elastic.co/apm/module/apmhttp"
)

func main() {
	mux := http.NewServeMux()
	...
	http.ListenAndServe(":8080", apmhttp.Wrap(mux))
}

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0 
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent'] 

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic" 
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-dotnet-agent
        image: busybox
        command: ["/bin/sh","-c"] 
        args: 
          - wget -qO './elastic-apm-agent/ElasticApmAgent.zip' https://github.com/elastic/apm-agent-dotnet/releases/download/1.7.0/ElasticApmAgent_1.7.0.zip;
            cd elastic-apm-agent;
            cat ElasticApmAgent.zip | busybox unzip -;
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent

      # ...
      containers:
      - name: your-app-container
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent
        env:
        # ...
        - name: DOTNET_STARTUP_HOOKS
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: DOTNET_STARTUP_HOOKS 
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

npm install elastic-apm-node --save

var apm = require('elastic-apm-node').start()

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

rpm -ivh <package-file>.rpm

dpkg -i <package-file>.deb

apk add --allow-untrusted <package-file>.apk

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

# Django
pip install elastic-apm

# Flask
pip install elastic-apm[flask]

INSTALLED_APPS = (
   # ...
   'elasticapm.contrib.django',
)

from elasticapm.contrib.flask import ElasticAPM

app = Flask(__name__)

apm = ElasticAPM(app)

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

gem 'elastic-apm'

# config.ru

app = lambda do |env|
  [200, {'Content-Type' => 'text/plain'}, ['ok']]
end

# Wraps all requests in transactions and reports exceptions
use ElasticAPM::Middleware

# Start an instance of the Agent
ElasticAPM.start()

run app

# Gracefully stop the agent when process exits.
# Makes sure any pending transactions have already sent.
at_exit { ElasticAPM.stop }

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

在大多数情况下，APM 代理会自动读取容器内的 Kubernetes 数据并将其发送到 APM Server。如果不是这种情况，或者如果要覆盖此数据，则可以设置代理读取的环境变量。这些环境变量是通过 Kubernetes pod 规范中的 向下 API 设置的

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

下表将这些环境变量映射到 APM 元数据事件字段

APM 代理与您的应用程序一起部署。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: <<your-app>>
  namespace: kube-system
  labels:
    app: <<your-app>>
    service: <<your-app>>
spec:
  replicas: 1
  selector:
    matchLabels:
      app: <<your-app>>
  template:
    metadata:
      labels:
        app: <<your-app>>
        service: <<your-app>>
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      volumes:
      - name: elastic-apm-agent
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent']
      containers:
      - name: <<your-app>>
        image: <<your-app>>
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        env:
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here"
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN
        - name: ELASTIC_APM_SERVICE_NAME
          value: "petclinic"
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic"
        - name: ELASTIC_APM_ENVIRONMENT
          value: test
        - name: JAVA_TOOL_OPTIONS
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

kubectl apply -f demo.yml

应用程序跟踪数据可在 服务清单 中找到。要打开 服务清单，请在主菜单中查找 应用程序 或使用 全局搜索字段。

应用程序 应用程序允许您实时监控您的软件服务和应用程序：可视化服务上的详细性能信息，识别和分析错误，以及监控主机级别和特定于代理的指标，例如 JVM 和 Go 运行时指标。

只需点击几下即可访问应用程序级别的见解，这可以大大减少您花费在调试错误、缓慢的响应时间和崩溃上的时间。

最重要的是，由于 Kubernetes 环境变量已映射到 APM 元数据事件，您可以按 Kubernetes namespace、node.name、pod.name 和 pod.uid 过滤跟踪数据。