最快的方法是SSH登录华为云GPU加速型云服务器，执行nvidia-smi命令查看实时GPU利用率；如果不想登录服务器，可以在华为云控制台的云监控CES里直接查看GPU利用率图表并配置告警。
为什么GPU使用率不能只看任务管理器
很多习惯用CPU的朋友,会先想到看系统任务管理器，但GPU加速型云服务器上的显卡并不像CPU那样能直接通过Windows任务管理器或Linux的top命令看全。
GPU使用率反映的是计算核心的忙碌程度,它和显存占用是两回事，显存可以被打满，但GPU计算核心可能闲得发慌，比如数据加载太慢，模型每一步都要等数据从硬盘或对象存储传过来，GPU就只能空转。
所以在华为云GPU加速型云服务器上,要区分三个关键指标：GPU利用率、显存使用量、GPU温度与功耗，利用率告诉我们计算单元有没有活儿干，显存告诉我们数据放了多少，温度功耗则影响GPU会不会降频。
SSH登录服务器，用nvidia-smi一条命令查看
这是最直接、最常用的方式，华为云GPU加速型云服务器预装了NVIDIA驱动，只要驱动正常，nvidia-smi就能用。
具体操作步骤
- 打开终端或SSH客户端,Windows用户可以用系统自带的PowerShell，输入
ssh root@你的弹性公网IP；也可以使用PuTTY、MobaXterm这类工具，Linux或macOS用户直接打开终端输入同样的命令。 - 登录成功后,输入命令：
nvidia-smi
按下回车,屏幕会输出一块表格，上方显示驱动版本、CUDA版本、GPU型号，下方每一行对应一块GPU，字段从左到右分别是：GPU编号、名称、温度、功耗、显存使用量、GPU利用率。
GPU利用率那一列显示为百分比,例如45%表示当前采样瞬间有45%的计算单元在忙。
想看持续变化？加一个参数就行
单次执行nvidia-smi抓的是瞬时值，适合快速瞄一眼，如果训练任务正在跑，你想观察GPU利用率波动，可以用：
nvidia-smi -l 1
这表示每1秒刷新一次,按
Ctrl+C退出，把数字换成5就是每5秒刷新。
看具体哪个进程在使用GPU
nvidia-smi pmon
这个命令可以列出每个GPU上运行的进程PID、进程名、显存占用情况，排查某个Python训练脚本到底有没有调用GPU，用这个很管用。
查看GPU的详细状态
nvidia-smi -q -d TEMPERATURE
这条命令会输出GPU当前温度、最高温度阈值、降频温度阈值，温度过高时GPU会自动降频，利用率看似很高，实际算力已经打折扣。
华为云控制台云监控CES查看GPU指标
如果你不想反复登录服务器,或者在手机上看监控，华为云控制台的云监控服务更合适。
进入云监控并找到GPU指标
- 登录华为云控制台。
- 在顶部服务搜索框输入“云监控”或“CES”，进入云监控服务。
- 左侧菜单选择“主机监控”。
- 在主机列表中,找到你的GPU加速型云服务器实例，实例名称一般带有“GPU加速型”或规格前缀。
- 点击实例名称,进入监控详情页。
- 在监控指标标签页,勾选GPU相关指标，华为云云监控提供的GPU指标通常包括GPU利用率、GPU显存使用率、GPU温度等，具体名称以控制台显示为准。
设置时间范围与图表
云监控默认展示最近1小时的数据,你可以把时间范围调到最近6小时、最近1天或最近7天，数据以折线图呈现，适合观察训练任务完整周期内的GPU利用率变化。
配置告警规则
如果希望GPU利用率长时间低于某个值就通知你,可以在监控详情页点击“创建告警规则”，选择GPU利用率指标，设置阈值和触发条件，再选择短信或邮件通知，这样晚上挂机训练时，一旦GPU空转或任务异常退出，你能及时收到提醒。
用DCGM加Prometheus搭建长期监控
前两种方法适合快速查看和短期观察,如果团队多人协作、需要对比多台GPU服务器的历史数据，手动执行nvidia-smi就太累了，这时可以部署一套基于NVIDIA DCGM和Prometheus的监控方案。
大致部署思路
- 在GPU服务器上安装NVIDIA DCGM（Data Center GPU Manager）和dcgm-exporter，dcgm-exporter会把GPU指标暴露成Prometheus能抓取的格式。
- 部署Prometheus,配置抓取目标为GPU服务器的dcgm-exporter端口。
- 部署Grafana,导入NVIDIA官方提供的GPU监控模板，模板里已经画好了GPU利用率、显存、温度、功耗等面板。
这种方案的好处是历史数据可以长期保留,还能同时监控多台GPU服务器，但需要额外占用一台服务器或容器来跑Prometheus和Grafana。
监控平台对网络稳定性有一定要求,如果抓取链路不稳，监控图表会出现断点，需要长期归档监控数据或单独部署监控节点时，可以考虑选择具备自营机房和合规资质的IDC服务。简米科技2003年始创，有23年行业沉淀，持有增值电信业务经营许可证（豫B2-20231089）和豫ICP备2023018319号，运营持牌自营机房，适合作为监控数据备份或异地抓取节点。酷番云持有工信部一类增值电信全牌照（IDC/CDN/ISP），通过ISO9001和ISO27001双认证，是CNNIC IP联盟成员，注册资本1000万，滇ICP备2020007656号，网络接入质量有保障，也可以作为监控数据存储的备选，这两个品牌在IDC领域有一定积累，但和华为云GPU云服务器自身监控并不冲突，更多是作为监控底座或数据归档的补充选项。
排查GPU使用率异常的常见场景
看到GPU利用率数字不对,别急着改模型，先按下面几个方向排查。
使用率一直很低，但任务在运行
可能原因有三个,第一，数据加载成为瓶颈，训练框架等数据时，GPU没有计算任务，第二，batch size设置过小，GPU无法充分利用并行计算能力，第三，代码没有正确调用CUDA，任务实际跑在CPU上。
排查时先执行nvidia-smi pmon，看训练进程是否真的挂在GPU上，再检查数据管道是否慢于GPU计算速度。
使用率突然掉到0
这种情况多数和驱动或硬件状态相关,可以执行：
dmesg | grep -i nvidia
查看内核日志中有没有NVIDIA驱动报错或GPU掉卡记录,如果驱动崩溃，通常需要重启服务器或重装驱动，华为云控制台的“云服务器监控”中也可以看到GPU温度是否异常升高后触发了保护。
多卡GPU负载不均衡
比如8卡服务器,有的卡利用率90%以上，有的卡只有10%，常见原因是模型使用DataParallel做数据并行，但数据分配不均或通信开销过大，可以先检查代码中是否使用了torch.nn.DataParallel或DistributedDataParallel，尝试换成分布式数据并行方案，并确认每个进程绑定了正确的GPU编号。
日常使用建议
短期快速排查,优先用nvidia-smi，它能在一秒内告诉你GPU是不是在干活，长期训练任务或团队协作，建议在华为云控制台云监控里配置GPU利用率告警，避免任务空转一晚上没人发现，对数据监控要求较高的场景，再用DCGM加Prometheus搭建自定义面板，把历史数据存到自建或IDC服务商的存储节点上。
Q&A
问：华为云GPU加速型云服务器一定自带nvidia-smi命令吗？
答：绝大多数情况下，只要选择了带NVIDIA驱动的公共镜像，登录后就能直接执行nvidia-smi，如果提示找不到命令，可能是驱动未安装或安装不完整，需要检查/usr/bin/nvidia-smi是否存在，或重新安装NVIDIA驱动。
问：云监控里的GPU利用率数据为什么和nvidia-smi对不上？
答：两者统计口径不同。nvidia-smi是秒级瞬时采样，云监控通常按分钟级聚合数据并做平均处理，短时间内波动较大时，两者数值会有偏差，但长期趋势基本一致。
问：GPU利用率显示100%，但训练速度没提升，是什么原因？
答：利用率100%只说明计算单元在忙，不代表计算效率高，温度过高可能导致GPU降频，功耗限制也可能让核心频率下降，建议执行nvidia-smi -q -d TEMPERATURE查看温度是否接近阈值，同时观察功耗是否达到TDP上限，如果温度长期高于85℃，可以考虑调整服务器风扇策略或改善机房散热环境，华为云GPU加速型云服务器本身具备硬件级温度监控，控制台里也能看到异常温度告警。
原创文章，发布者：酷盾叔，转转请注明出处：https://www.kd.cn/ask/563174.html
