在 Fleet 管理的 Kubernetes 上运行 Elastic Agent
编辑在 Fleet 管理的 Kubernetes 上运行 Elastic Agent编辑
您需要什么编辑
- 已安装 kubectl.
-
用于存储和搜索数据的 Elasticsearch,以及用于可视化和管理数据的 Kibana。
要快速上手,请启动我们托管 Elasticsearch Service的部署。Elasticsearch Service 在 AWS、GCP 和 Azure 上可用。免费试用。
要安装和运行 Elasticsearch 和 Kibana,请参阅安装 Elastic Stack。
-
kube-state-metrics
.您需要部署
kube-state-metrics
以获取有关集群上对象状态的指标(请参阅Kubernetes 部署文档)。您可以先下载项目来做到这一点gh repo clone kubernetes/kube-state-metrics
然后部署它
kubectl apply -k kube-state-metrics
在托管 Kubernetes 解决方案(例如 AKS、GKE 或 EKS)上,Elastic Agent 没有从Kubernetes 控制平面组件(例如
kube-scheduler
和kube-controller-manager
)收集指标所需的权限。审计日志也仅在 Kubernetes 控制平面节点上可用,因此 Elastic Agent 无法收集它们。有关更多信息,请参阅此处。有关特定云提供商的更多信息,请参阅在 Fleet 管理的 Azure AKS 上运行 Elastic Agent、在 Fleet 管理的 GKE 上运行 Elastic Agent和在 Fleet 管理的 Amazon EKS 上运行 Elastic Agent
步骤 1:下载 Elastic Agent 清单编辑
您可以在此处找到 Elastic Agent Docker 镜像。
下载清单文件
curl -L -O https://raw.githubusercontent.com/elastic/elastic-agent/8.14/deploy/kubernetes/elastic-agent-managed-kubernetes.yaml
您可能需要调整清单中 Elastic Agent 容器的资源限制。容器资源使用情况取决于数据流的数量和环境大小。
此清单包括用于收集 Kubernetes 指标的 Kubernetes 集成和用于从节点收集系统级指标和日志的系统集成。
Elastic Agent 被部署为DaemonSet,以确保集群的每个节点上都有一个正在运行的实例。这些实例用于从主机检索大多数指标,例如系统指标、Docker 统计信息以及 Kubernetes 上运行的所有服务的指标。可以通过部署的kube-state-metrics
访问这些指标。请注意,默认情况下,所有内容都部署在kube-system
命名空间下。要更改命名空间,请修改清单文件。
此外,DaemonSet 中的一个 Pod 将不断持有“领导者锁”,这使其负责处理集群范围的监控。您可以在领导者选举提供程序中找到有关领导者选举配置选项的更多信息。领导者 Pod 将检索整个集群特有的指标,例如 Kubernetes 事件或kube-state-metrics。
出于 Kubernetes 安全态势管理 (KSPM) 的目的,Elastic Agent 需要对各种类型的 Kubernetes 资源、节点进程和文件具有读取访问权限。为此,将向 Elastic Agent 授予对必要资源的读取权限,并将托管节点文件系统中的卷挂载到 Elastic Agent Pod,以便其可以访问这些资源。
Kubernetes 集群中的节点数量和大小有时可能很大,在这种情况下,将收集集群级别指标的 Pod 可能需要比您希望专用于 DaemonSet 中所有 Pod 的运行时资源更多。如果资源不足,则收集集群范围指标的领导者可能会因资源限制而面临性能问题。在这种情况下,用户可能会考虑避免使用具有领导者选举策略的单个 DaemonSet,而是运行一个专用的独立 Elastic Agent 实例,以便除了用于为每个节点收集指标的 DaemonSet 之外,还使用 Deployment 来收集集群范围的指标。然后,可以独立且适当地为 Deployment 和 DaemonSet 分配资源。有关更多信息,请查看在 Kubernetes 上扩展 Elastic Agent页面。
步骤 2:配置 Elastic Agent 策略编辑
需要将 Elastic Agent 分配给策略才能启用正确的输入。要实现 Kubernetes 可观察性,该策略需要包括 Kubernetes 集成。请参阅创建策略和将集成添加到策略,以了解如何配置Kubernetes 集成。
步骤 3:将 Elastic Agent 注册到策略编辑
Elastic Agent 的注册被定义为将特定代理注册到正在运行的 Fleet Server 的操作。
通过使用FLEET_URL
参数将 Elastic Agent 注册到正在运行的 Fleet Server。此外,FLEET_ENROLLMENT_TOKEN
参数用于将 Elastic Agent 连接到特定的 Elastic Agent 策略。
创建新策略后,将创建一个新的FLEET_ENROLLMENT_TOKEN
,并在引导式安装期间将其插入 Elastic Agent 清单中。
查找有关注册令牌的更多信息。
要指定不同的目标/凭据,请在清单文件中更改以下参数
- name: FLEET_URL value: "https://fleet-server_url:port" - name: FLEET_ENROLLMENT_TOKEN value: "token" - name: FLEET_SERVER_POLICY_ID value: "fleet-server-policy" - name: KIBANA_HOST value: "" - name: KIBANA_FLEET_USERNAME value: "" - name: KIBANA_FLEET_PASSWORD value: ""
用于注册 Fleet Server 的 URL。您可以在 Kibana 中找到它。选择管理 → Fleet → Fleet 设置,然后复制 Fleet Server 主机 URL。 |
|
用于注册的令牌。关闭弹出面板并选择注册令牌。找到您之前创建的用于注册 Elastic Agent 的代理策略,然后显示并复制密钥令牌。 |
|
Fleet Server 本身使用的策略 ID。 |
|
Kibana 主机。 |
|
用于连接到 Kibana 并检索 |
|
用于连接到 Kibana 并检索 |
有关所有可用选项,请参阅环境变量。
步骤 4:配置容忍编辑
Kubernetes 控制平面节点可以使用污点来限制可以在其上运行的工作负载。独立 Elastic Agent 的清单定义了在这些节点上运行的容忍。在控制平面节点上运行的代理从 Kubernetes 的控制平面组件(调度程序、控制器管理器)收集指标。要禁用 Elastic Agent 在控制平面节点上运行,请删除 DaemonSet 规范的以下部分
spec: # Tolerations are needed to run Elastic Agent on Kubernetes control-plane nodes. # Agents running on control-plane nodes collect metrics from the control plane components (scheduler, controller manager) of Kubernetes tolerations: - key: node-role.kubernetes.io/control-plane effect: NoSchedule - key: node-role.kubernetes.io/master effect: NoSchedule
这两个容忍的作用相同,但node-role.kubernetes.io/master
从 Kubernetes 版本 v1.25 开始已弃用。
步骤 5:部署 Elastic Agent编辑
要将 Elastic Agent 部署到 Kubernetes,请运行
kubectl create -f elastic-agent-managed-kubernetes.yaml
要检查状态,请运行
$ kubectl -n kube-system get pods -l app=elastic-agent NAME READY STATUS RESTARTS AGE elastic-agent-4665d 1/1 Running 0 81m elastic-agent-9f466c4b5-l8cm8 1/1 Running 0 81m elastic-agent-fj2z9 1/1 Running 0 81m elastic-agent-hs4pb 1/1 Running 0 81m
步骤 6:在 Kibana 中查看数据编辑
-
启动 Kibana
- 登录到您的 Elastic Cloud 帐户。
- 导航到部署中的 Kibana 端点。
将您的浏览器指向https://127.0.0.1:5601,将
localhost
替换为 Kibana 主机的名称。 -
要检查您的 Elastic Agent 是否已注册到 Fleet,请转到管理 → Fleet → 代理。
- 如需查看流入的数据,请前往 分析 → 探索 并选择索引
metrics-*
,或者更具体地说,选择metrics-kubernetes.*
。如果您看不到这些索引,请为其创建数据视图。 - 如需查看预定义的仪表板,请选择 分析→仪表板 或通过集成安装资源。