教程：观察您的 Kubernetes 部署

在像 Kubernetes 这样的容器化环境中运行的应用程序带来了一个独特的监控挑战：如何诊断和解决数千个容器上运行的数百个微服务的问题，这些微服务运行在短暂且可丢弃的 Pod 中？

一个成功的 Kubernetes 监控解决方案有以下几个要求

本指南介绍了如何使用 Elastic Observability 来观察应用程序的所有层，包括编排软件本身

本指南介绍了如何使用 Elastic Agent 清单文件将 Elastic 监控代理部署为 DaemonSet。有关其他部署选项，请参阅 Elastic Cloud on Kubernetes (ECK) 中的 Kubernetes 操作符和自定义资源定义。

Elastic Stack 为监控 Kubernetes 提供了以下组件

Elastic Agent 的默认安装以 DaemonSet 的形式部署到 Kubernetes，以确保集群的每个节点上都有一个实例在运行。它从 Kubernetes 上运行的 Pod、容器和应用程序收集日志和指标。

Elastic Agent 提供处理器来向事件添加元数据。元数据对于分组和探索相关数据很有价值。例如，在分析容器日志时，您需要知道主机和容器名称，并能够关联日志、指标和跟踪。

默认部署包括处理器，在需要时，用于使用云和主机元数据丰富事件。

有关这些处理器的更多信息，请参阅 add_cloud_metadata 和 add_host_metadata 文档。

默认情况下，Kubernetes 集成使用有价值的元数据丰富日志和指标。

默认情况下，所有 Kubernetes 指标都使用元数据进行丰富。丰富发生在代码中，并且可以使用每个数据集上的 add_resource_metadata 块进行配置。有关配置 add_resource_metadata 块的更多信息，请参阅 配置 kubelet API 元数据丰富 和 配置 kube-state-metrics 元数据丰富。

默认情况下，所有 Kubernetes 日志都使用元数据进行丰富。有关配置元数据丰富的更多信息，请参阅 收集 Kubernetes 容器日志。

现在您已经基本了解了监控架构，让我们学习如何将监控部署到您的 Kubernetes 环境。

在您可以监控 Kubernetes 之前，您需要以下内容

要开始从您的 Kubernetes 集群收集日志和指标，首先将 Kubernetes 集成添加到您的策略，并配置您要收集的指标和日志。

按照以下步骤将 Kubernetes 集成添加到您的策略

继续 步骤 2：配置您的 Kubernetes 集成。

Kubernetes 集成可以从多个组件获取指标和日志。在 添加 Kubernetes 集成 页面中，配置要收集的指标和日志的选项。以下部分概述了配置选项。

收集指标

收集有关 Kubernetes 集群及其上运行的工作负载的指标是 Kubernetes 可观察性的关键方面。您需要收集有关底层基础设施上运行的资源（例如，您的 Kubernetes 集群的机器）、整个集群的指标，以及容器和 Pod 的各个指标。具体而言，您需要监控的健康状况和性能包括

Elastic Agent 与 Kubernetes 集成一起，提供了一个统一的解决方案来监控 Kubernetes 技术堆栈的所有层，因此您不需要多种技术来收集指标。

您可以使用以下选项来收集有关您的 Kubernetes 集群及其上运行的工作负载的指标

收集日志

收集和分析 Kubernetes 核心组件和 Kubernetes 上运行的各种应用程序的日志是 Kubernetes 可观察性的强大工具。在 Kubernetes Pod 中运行的容器会将日志发布到 stdout 或 stderr。

您可以使用以下选项来收集 Kubernetes 日志

默认情况下启用从 kubelet API 收集指标。Kubelet 是在每个 Kubernetes 节点上运行的代理，对于管理单个 Pod 和托管它们的节点至关重要。有关 kubelet 的更多信息，请参阅 Kubernetes kubelet 文档。

Elastic Agent 与 Kubernetes 集成一起，可以从 kubelet API 收集指标，以收集有关 Kubernetes 节点、Pod、容器和其他资源状态的重要信息。pale展开以下列表以查看来自 kubelet API 的所有可用指标。

为每个 kubelet API 选项提供以下信息

在Kubernetes容器指标和Kubernetes Pod指标下，您可以从高级选项 → 添加节点和命名空间元数据配置元数据增强。

在此处，更新 add_resource_metadata 代码块以配置增强。

 add_resource_metadata:
   namespace:
     include_labels: ["namespacelabel1"]
   node:
     include_labels: ["nodelabel2"]
     include_annotations: ["nodeannotation1"]
   deployment: false

默认情况下，启用从 kube-state-metrics 收集指标。kube-state-metrics 服务提供关于 Kubernetes 对象运行状况的集群范围指标。有关更多信息，请参阅 kube-state-metrics 文档。

kube-state-metrics 提供水平分片以支持大型 Kubernetes 部署。有关更多信息，请参阅 kube-state-metrics 分片文档。

通过 Kubernetes 集成，您可以使用 kube-state-metrics 收集许多指标。展开以下列表以查看来自 kube-state-metrics 的所有可用指标。

为每个 kube-state-metrics 选项提供以下信息

在Kubernetes容器指标和Kubernetes Pod指标下，您可以从高级选项 → 添加节点和命名空间元数据配置元数据增强。

在此处，更新 add_resource_metadata 代码块以配置增强。

add_resource_metadata:
  namespace:
   enabled: true
    #use_regex_include: false
    include_labels: ["namespacelabel1"]
    #use_regex_exclude: false
    #exclude_labels: ["namespacelabel2"]
  node:
   enabled: true
    #use_regex_include: false
    include_labels: ["nodelabel2"]
    include_annotations: ["nodeannotation1"]
    #use_regex_exclude: false
    #exclude_labels: ["nodelabel3"]
  #deployment: false
  #cronjob: false

默认情况下，启用从 kube-apiserver 收集指标。kube-apiserver 设置并验证 Pod、服务和其他 API 对象。这些指标提供了有关 API 服务器性能、工作负载和运行状况的见解。

有关收集的指标的更多信息，请参阅 kube-apiserver 指标。

提供以下信息以收集 kube-apiserver 指标

kube-proxy 在每个节点上运行并维护网络规则。默认情况下，启用从 kube-proxy 收集指标。这些指标提供了有关代理的网络活动、性能和资源使用情况的见解。

有关收集的指标的更多信息，请参阅 kube-proxy 指标。

提供以下信息以收集 Kubernetes 代理指标

kube-scheduler 将未分配节点的新的 Pod 分配到最合适的节点。启用此选项可从 kube-scheduler 获取指标。这些指标提供了有关 kube-scheduler 的性能、资源使用情况和运行状况的见解。

有关收集的指标的更多信息，请参阅 kube-scheduler 指标。

提供以下信息以收集 Kubernetes 调度器指标

kube-controller-manager 调节集群的状态。启用此选项可从 kube-controller-manager 获取指标。这些指标提供了有关 kube-controller-manager 的性能、资源使用情况和运行状况的见解。

有关收集的指标的更多信息，请参阅 kube-controller-manager 指标。

提供以下信息以收集 kube-controller-manager 指标

事件指标为您提供了集群中正在发生的情况的整体视图。这些指标可帮助您了解集群中正在发生的情况并提高可靠性和稳定性。默认情况下，启用从 Kubernetes API 服务器收集 Kubernetes 事件。

有关收集的指标的更多信息，请参阅 事件指标。

提供以下信息以收集 Kubernetes 事件指标

默认情况下，启用收集和解析 Kubernetes 容器日志。在 Kubernetes Pod 中运行的容器会将日志发布到 stdout 或 stderr。这些日志会写入 kubelet 已知的位置。默认情况下启用容器解析器。您可以在高级设置中启用其他解析器。

默认情况下还启用元数据增强，并且它基于 Kubernetes 提供程序。使用 Kubernetes 提供程序的 add_resource_metadata 代码块对其进行配置。有关配置提供程序的更多信息，请参阅 Kubernetes 提供程序文档。

有关收集容器日志的更多信息，请参阅 Kubernetes 容器日志。

提供以下信息以收集容器日志

启用此选项以收集审计日志。Kubernetes 审计日志记录来自内部和外部组件的 Kubernetes API 请求。这些日志可以帮助您了解集群行为并调试问题。

有关收集审计日志的更多信息，请参阅Kubernetes 审计日志。

配置完集成后，您需要下载并更新清单。首先，通过完成以下步骤下载清单

下载清单后，打开它并更新 DaemonSet 中的 ES_USERNAME 和 ES_PASSWORD 环境变量，以匹配您的 Elasticsearch 凭据。

您还可以进一步修改清单以满足您的需求。例如，您可能想要启用自动发现以自动发现容器日志。有关在清单中启用自动发现的更多信息，请参阅 Fleet 指南中的自动发现文档。

准备好部署 Elastic Agent 后

如果您在配置或安装 Elastic Agent 时遇到任何问题，请参阅调试独立的 Elastic Agent。

使用 Kibana 查看 Elastic Agent 收集的指标和日志数据。有关查看数据的更多信息，请参阅以下部分。

要查看 Elastic Agent 收集的性能和健康指标，请在主菜单中查找基础设施或使用全局搜索字段。

在基础设施清单页面上，您可以在不同视图之间切换，以查看 Kubernetes 上运行的容器和 Pod 的概述

有关使用“清单”页面的更多信息，请参阅按资源类型查看基础设施指标。

在指标浏览器页面上，您可以对您正在监控的资源的指标进行分组和分析。

有关使用指标浏览器页面的更多信息，请参阅随时间推移浏览基础设施指标。

在全局搜索字段中查找日志浏览器。

借助日志浏览器，您可以快速搜索和筛选日志数据，获取有关日志字段结构的信息，并在可视化中显示您的发现。

在日志浏览器中，您可以从数据选择器中选择 Kubernetes 集成以查看您的 Kubernetes 数据。

在这里，您可以筛选日志数据并深入研究各个日志以查找和排除问题。有关更多信息，请参阅

借助 Elastic 应用程序性能监控 (APM)，快速分类和排除应用程序性能问题。

考虑一个延迟峰值 - APM 可以帮助您将调查范围缩小到单个服务。因为您还摄取并关联了日志和指标，所以您还可以将问题链接到特定 Kubernetes Pod 的 CPU 和内存利用率或错误日志条目。

应用程序监控数据从 Kubernetes 中运行的应用程序流式传输到 APM，在那里进行验证、处理并转换为 Elasticsearch 文档。

在与 Kubernetes 配合使用时，有多种部署 APM 的方法，但本指南假定您在 Elastic Cloud 上使用我们托管的 Elasticsearch Service。如果您尚未执行此操作，请在Elasticsearch Service 控制台中启用 APM。

如果您想自己管理 APM，则有以下几种替代方案

密钥令牌用于保护 APM 代理和 APM Server 之间的通信。要在 Kibana 中创建或更新您的密钥令牌

为了避免暴露密钥令牌，您可以将其存储在 Kubernetes 密钥中。例如

kubectl create secret generic apm-secret --from-literal=ELASTIC_APM_SECRET_TOKEN=asecretpassword --namespace=kube-system 

如果您自己管理 APM Server，请参阅密钥令牌，了解如何设置密钥令牌的说明。

如果您使用 ECK 设置 APM Server，则操作员会自动为您生成 {APM-server-name}-apm-token 密钥。

在大多数情况下，设置 APM 代理并由此检测您的应用程序就像安装库并添加几行代码一样简单。

选择您的应用程序的语言以获取详细信息

go get go.elastic.co/apm

import (
	"net/http"

	"go.elastic.co/apm/module/apmhttp"
)

func main() {
	mux := http.NewServeMux()
	...
	http.ListenAndServe(":8080", apmhttp.Wrap(mux))
}

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0 
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent'] 

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic" 
        - name: JAVA_TOOL_OPTIONS 
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar

    # ...
    spec:
      volumes:
      - name: elastic-apm-agent 
        emptyDir: {}
      initContainers:
      - name: elastic-dotnet-agent
        image: busybox
        command: ["/bin/sh","-c"] 
        args: 
          - wget -qO './elastic-apm-agent/ElasticApmAgent.zip' https://github.com/elastic/apm-agent-dotnet/releases/download/1.7.0/ElasticApmAgent_1.7.0.zip;
            cd elastic-apm-agent;
            cat ElasticApmAgent.zip | busybox unzip -;
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent

      # ...
      containers:
      - name: your-app-container
        volumeMounts:
        - mountPath: /elastic-apm-agent
          name: elastic-apm-agent
        env:
        # ...
        - name: DOTNET_STARTUP_HOOKS
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

        # ...
        - name: ELASTIC_APM_SERVER_URLS
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 
        - name: DOTNET_STARTUP_HOOKS 
          value: "/elastic-apm-agent/ElasticApmAgentStartupHook.dll"

npm install elastic-apm-node --save

var apm = require('elastic-apm-node').start()

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

rpm -ivh <package-file>.rpm

dpkg -i <package-file>.deb

apk add --allow-untrusted <package-file>.apk

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

# Django
pip install elastic-apm

# Flask
pip install elastic-apm[flask]

INSTALLED_APPS = (
   # ...
   'elasticapm.contrib.django',
)

from elasticapm.contrib.flask import ElasticAPM

app = Flask(__name__)

apm = ElasticAPM(app)

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

gem 'elastic-apm'

# config.ru

app = lambda do |env|
  [200, {'Content-Type' => 'text/plain'}, ['ok']]
end

# Wraps all requests in transactions and reports exceptions
use ElasticAPM::Middleware

# Start an instance of the Agent
ElasticAPM.start()

run app

# Gracefully stop the agent when process exits.
# Makes sure any pending transactions have already sent.
at_exit { ElasticAPM.stop }

        # ...
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here" 
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN 
        - name: ELASTIC_APM_SERVICE_NAME
          value: "service-name-goes-here" 

在大多数情况下，APM 代理会自动从容器内部读取 Kubernetes 数据并将其发送到 APM Server。如果情况并非如此，或者如果您希望覆盖此数据，您可以设置环境变量供代理读取。这些环境变量通过 Kubernetes pod 规范中的Downward API设置

      # ...
      containers:
      - name: your-app-container
        env:
        # ...
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

下表将这些环境变量映射到 APM 元数据事件字段

APM 代理与您的应用程序一起部署。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: <<your-app>>
  namespace: kube-system
  labels:
    app: <<your-app>>
    service: <<your-app>>
spec:
  replicas: 1
  selector:
    matchLabels:
      app: <<your-app>>
  template:
    metadata:
      labels:
        app: <<your-app>>
        service: <<your-app>>
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      volumes:
      - name: elastic-apm-agent
        emptyDir: {}
      initContainers:
      - name: elastic-java-agent
        image: docker.elastic.co/observability/apm-agent-java:1.12.0
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        command: ['cp', '-v', '/usr/agent/elastic-apm-agent.jar', '/elastic/apm/agent']
      containers:
      - name: <<your-app>>
        image: <<your-app>>
        volumeMounts:
        - mountPath: /elastic/apm/agent
          name: elastic-apm-agent
        env:
        - name: ELASTIC_APM_SERVER_URL
          value: "apm-server-url-goes-here"
        - name: ELASTIC_APM_SECRET_TOKEN
          valueFrom:
            secretKeyRef:
              name: apm-secret
              key: ELASTIC_APM_SECRET_TOKEN
        - name: ELASTIC_APM_SERVICE_NAME
          value: "petclinic"
        - name: ELASTIC_APM_APPLICATION_PACKAGES
          value: "org.springframework.samples.petclinic"
        - name: ELASTIC_APM_ENVIRONMENT
          value: test
        - name: JAVA_TOOL_OPTIONS
          value: -javaagent:/elastic/apm/agent/elastic-apm-agent.jar
        - name: KUBERNETES_NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: KUBERNETES_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KUBERNETES_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: KUBERNETES_POD_UID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid

kubectl apply -f demo.yml

应用程序跟踪数据在服务清单中可用。要打开服务清单，请在主菜单中查找应用程序，或使用全局搜索字段。

应用程序应用程序允许您实时监控您的软件服务和应用程序：可视化您的服务的详细性能信息，识别和分析错误，以及监控主机级别和代理特定的指标，如 JVM 和 Go 运行时指标。

只需点击几下即可访问应用程序级别的见解，可以大大减少您在调试错误、响应时间缓慢和崩溃上花费的时间。

最重要的是，由于 Kubernetes 环境变量已映射到 APM 元数据事件，您可以按 Kubernetes namespace、node.name、pod.name 和 pod.uid 过滤您的跟踪数据。