在深度学习服务器上，各种模型的训练，需要监控GPU的情况，并且需要根据使用状态来切换不同的GPU上。

有以下四款软件，可以很好的进行GPU状态监控。

1. nvidia-smi

一个跨平台工具，用于监控和管理NVIDIA GPU的状态和性能。它支持所有标准的NVIDIA驱动程序支持的Linux发行版以及从WindowsServer 2008 R2开始的64位系统。这个工具通常与CUDA工具包一起安装，是NVIDIA显卡驱动的一部分。

常用命令：watch -n 2 nvidia-smi

2. gpustat

一个基于nvidia-smi的命令行工具，用于监控和分析GPU（GPU）的状态和使用情况。简约显示。

安装：

# 系统包安装
sudo apt install gpustat
# 作为python库安装
pip install gpustat

运行：

watch -n 1 -c gpustat --color
# 或者
gpustat -i

3. nvtop

一个专为NVIDIA GPU设计的任务监视器，类似于htop，但提供了更直观的用户界面和更多的进程信息。

sudo apt install nvtop
# 安装完毕后直接运行
nvtop

4. nvitop（重点推荐）

一款交互式的 NVIDIA GPU 设备性能、资源和进程的实时监测工具。"nvitop" 在实时监控 GPU 设备资源和性能方面具有全方位优势，包括更美观的颜色和更直观的进度条来展示某块 GPU 卡所处进程的 GPU & CPU 内存以及利用率占比 。此外，它还支持树视图、环境变量查看、进程过滤、进程指标监控等多种功能和选项 。因此，可以推断 "nvitop" 是一个高颜值的实时监控工具，专为监控 NVIDIA GPU 设备性能和资源而设计。

官网参考：Welcome to nvitop’s documentation! — nvitop: the one-stop solution for GPU process management. documentation

安装：

pip install nvitop

运行：三种模式 auto，compact，full

nvitop -m full