集群GPU监控

1. 介绍

Uk8s 使用开源组件 Dcgm-Exporter  用于获取 GPU 相关监控指标，主要包含：

• GPU 卡利用率
• 容器 GPU 资源利用率

2. 部署

2.1. 未开启监控中心

开启 监控中心 即可在 Grafana 页面查看 Dashboard NVIDIA/DCGM/Exporter/Node、NVIDIA/DCGM/Exporter/Container。

2.2. 已开启监控中心

⚠️ 如果监控中心版本 1.0.6 > version >= 1.0.5-3 或者 version > 1.0.6 ，默认安装了下面部署文件，请跳过下面部署内容，否则需要进行下面部署。

2.2.1. 部署 Dcgm-Exporter

kubectl apply -f https://docs.an-link.com/uk8s/yaml/gpu-share/dcgm-exporter.yaml

2.2.2. 部署 NVIDIA/DCGM/Exporter/Node Dashboard

登陆Grafana后，你需要先下载 json 文件  —> 选择左侧导航栏 ’+’ 号 —> Import —> 第二个输入框粘贴下载的 json 内容 —> Load

2.2.3. 部署 NVIDIA/DCGM/Exporter/Container Dashboard

⚠️ 官方的图表没有容器相关信息，如果你需要查看容器的 GPU 相关信息，需要导入 Uk8s 自制的 Dashboard。

登陆Grafana后，你需要先下载 json 文件  —> 选择左侧导航栏 ’+’ 号 —> Import —> 第二个输入框粘贴下载的 json 内容 —> Load

3. 测试

你可以通过下面命令快速启动一个 GPU Pod。该 Pod 会运行一段时间结束。随后你可以在 Grafana 的 NVIDIA/DCGM/Exporter/Container Dashboard 中查看该 Pod 的 GPU 使用情况。

cat << EOF | kubectl create -f -
 apiVersion: v1
 kind: Pod
 metadata:
   name: dcgmproftester
 spec:
   restartPolicy: OnFailure
   containers:
   - name: dcgmproftester11
     image: uhub.an-link.com/uk8s/dcgmproftester
     args: ["--no-dcgm-validation", "-t 1004", "-d 120"]
     resources:
       limits:
          nvidia.com/gpu: 1
     securityContext:
       capabilities:
          add: ["SYS_ADMIN"]
 
EOF

4. Dashboard 图表

5. 监控规则

我们默认配置了 GPU掉卡 的告警规则，如果有新增告警规则的需求，可以通过下面命令更改告警规则。

kubectl -n uk8s-monitor edit prometheusrule uk8s-gpu

6. DCGM 常见指标

6.1. 利用率

6.2. 显存

在 GPU 里，显卡内存（显存）也被称为帧缓存。

6.3. 频率

6.4. 剖析

6.5. 温度和功率

6.6. XID 错误&违规

6.7. 停用的内存页面

6.8. 其他