前阵子一个朋友发消息给我说照着网上的教程折腾了一下午PyTorch 终于装上了结果跑训练时头也不回地跟我说“和 CPU 差不多慢”。我让他先执行一下torch.cuda.is_available()他发来一个刺眼的False。这种场景我遇到太多次了几乎每天都有新手卡在 GPU 版 PyTorch 的安装上而且卡住的理由千奇百怪从双显卡笔记本识别不到独显到 Ubuntu 下 CUDA 安装指令报错再到 WSL 和虚拟机里根本用不了 GPU。其实 GPU 版 PyTorch 安装本身并不复杂复杂的是安装之前那些概念没理清楚导致你在错误的方向上反复折腾。这篇东西我就把自己这么多年在 Windows、Ubuntu、WSL2 上装 GPU 版 PyTorch 的经验完整写一遍该从哪里看驱动、怎么选 CUDA 版本、哪条命令靠谱、报错怎么排查全部按实际踩坑的顺序来希望能帮你少走弯路。1. 安装前必懂显卡驱动、CUDA、PyTorch 到底各管哪一段很多人一上来就搜“CUDA 安装教程”然后对着 NVIDIA 官网的驱动、CUDA Toolkit、cuDNN 一堆名词发懵装完这个装那个最后 PyTorch 还是跑不到 GPU 上。问题就在于你没有先把它们的分工搞清楚。1.1 为什么双显卡笔记本常让人翻车热搜词里有一条“显卡有两个intel uhd graphics 和nvidia geforce rtx 4060 laptop gpu”这种就是典型的双显卡笔记本。Intel UHD Graphics 是核显负责日常显示和轻度渲染NVIDIA GeForce RTX 4060 Laptop GPU 是独显深度学习真正需要的算力就靠它。Windows 系统会自动在两个 GPU 之间切换平时上网用核显玩游戏或跑 CUDA 时才调用独显这本身是省电设计但也给 PyTorch 安装带来了第一个认知障碍你打开任务管理器确实能看到两个显卡但这并不代表独显驱动和 CUDA 环境已经就绪。我见过不少人在设备管理器里看到“NVIDIA GeForce RTX 4060 Laptop GPU”后面有个黄色感叹号就以为显卡坏了。其实绝大多数情况只是驱动没装好或者版本不对系统用了微软的通用驱动顶包性能完全发挥不出来PyTorch 也检测不到。所以在开始一切安装前你先要做的是确认独显驱动真正处于可用状态这个我放到第 2 节细说。另外一个容易误导人的点是显卡型号。RTX 4060 Laptop GPU 属于 Ada Lovelace 架构计算能力是 8.9也就是我们常说的sm_89。这个数字直接影响你能选哪个 CUDA 版本因为 CUDA 11.7 及更早的版本不认识sm_89你就算装上了PyTorch 也会告诉你“no kernel image is available for execution on the device”这就等于白装了。RTX 30 系、RTX 20 系、GTX 16 系也有各自的架构代号后面选 CUDA 版本时要对应上。1.2 CUDA 版本、显卡驱动、PyTorch 三者的三角关系这里我用一个简单的类比帮你理清三者关系。显卡驱动是“公路”修好了才能通车CUDA 是“加油站和服务区”提供 PyTorch 运行所需的底层计算接口PyTorch 是“货车”要在公路上跑必须匹配服务区提供的油品。公路修得足够宽、足够新加油站的规格当然越高越好但货车只认特定标号的油标号不匹配它就不启动。具体到版本上显卡驱动是向下兼容的新版驱动通常支持旧版 CUDA 运行时但旧驱动往往跑不动新版 CUDA。PyTorch 官方不是直接依赖系统里安装的 CUDA Toolkit而是在编译时把 CUDA Runtime 库打包进安装包了所以你在安装 PyTorch 时选的cu118、cu121、cu124这些标签决定了它期望的 CUDA 运行时版本。这个版本号和驱动之间有个最低要求比如 CUDA 12.1 需要 Linux 驱动版本不低于 525.60.13Windows 驱动版本不低于 527.41这些信息在 NVIDIA 官方文档的 CUDA Support Matrix 里都有。我个人的习惯是不看那些复杂的兼容表直接看nvidia-smi的输出。这个命令在右上角会显示“CUDA Version”比如CUDA Version: 12.4。这个数字表示你的驱动最多能支持到哪个 CUDA 版本那么你安装 PyTorch 时选的 cu 版本只要不高于这个数字基本都能跑。举个例子nvidia-smi显示 CUDA 12.4你就可以放心选cu121或者cu124的 PyTorch 包但要是你选了cu118也没问题因为驱动向下兼容。反过来驱动只支持到 CUDA 11.8你非要装cu124的包那大概率跑不起来。1.3 先装驱动还是先装 PyTorch答案非常明确先装驱动再装 PyTorch。一个常见的错误顺序是有人先装了 PyTorch 的 GPU 版然后才开始折腾驱动最后nvidia-smi都跑不出来自然各种报错。PyTorch 安装后它会去系统里找 NVIDIA 驱动和 CUDA 运行时找不到就静默退回到 CPU 模式也就是我开头朋友遇到的情况。还有个细节除非你要自己编译 CUDA 扩展比如安装某些需要源码编译的第三方算子否则你不需要单独安装完整的 CUDA Toolkit也不需要手动设置CUDA_HOME环境变量。因为 PyTorch 自带了它依赖的 CUDA Runtime 库官方的安装命令已经把这些写清楚了。很多人被网上的“老教程”误导先装了一遍 3GB 的 CUDA Toolkit结果 PyTorch 还是不能用反而多了好多环境变量冲突的麻烦。这个认知很重要能帮你省掉一大半无用功。如果你确实需要 CUDA Toolkit比如要装mmcv、apex这类需要 nvcc 编译的库那么我建议你安装 CUDA Toolkit 时选择与 PyTorch 的 cu 版本一致或相近的版本例如cuda-12.1并且在~/.bashrc里配置好路径。这一步可以等真有需求时再补没必要在装 PyTorch 的第一天就搞。2. 从显卡到环境双显卡笔记本和 Python 环境准备清单这一节是实操前的最后准备把显卡驱动和 Python 环境这两块地基打好。我按 Windows 和 Linux 两条线来写因为步骤差异比较大。如果你用 WSL2我建议你直接看第 4 节WSL2 有自己特殊的驱动安装逻辑。2.1 用 nvidia-smi 和系统设置确认独显已在工作不管什么操作系统第一步永远是验证 NVIDIA 驱动是否可用。Windows 用户先打开命令行Win R输入cmd执行nvidia-smi如果正常你会看到类似如下的输出右上角是驱动版本和最高支持的 CUDA 版本下面是当前 GPU 的名称、显存占用、温度、进程等。如果提示nvidia-smi is not recognized或者NVIDIA-SMI has failed because it couldnt communicate with the NVIDIA driver说明驱动确实有问题。这种情况可以到 NVIDIA 驱动下载页面输入显卡型号下载最新的 Game Ready 或 Studio 驱动。安装时有一个选项叫“执行清洁安装”我建议勾选它能帮你清掉旧驱动残留减少后续冲突。装完驱动后记得重启电脑然后再跑一次nvidia-smi。Linux 桌面版用户同样先执行nvidia-smi。如果提示找不到命令可能有几个原因你还没装 NVIDIA 驱动驱动装好了但不在 PATH 里。前一种情况可以尝试用显卡驱动 PPA 安装驱动也可以去 NVIDIA 官网直接下.run文件安装但这类安装方式有很多坑比如新内核与驱动模块编译失败、Secure Boot 拦截驱动加载等我建议新手优先使用发行版仓库推荐的驱动力方案。还有一个很关键的检查双显卡笔记本里nvidia-smi能看到独显但系统默认可能还是用核显在跑。Windows 用户在桌面右键打开“NVIDIA 控制台”在“管理 3D 设置”里把“首选图形处理器”设为“高性能 NVIDIA 处理器”这样能避免后续训练时图形负载错误地落到核显上。这不是 PyTorch 能否识别 GPU 的必要条件但对整机的运行稳定性有帮助。2.2 用 Anaconda/Miniconda 创建干净环境PyTorch 安装我强烈建议你在隔离的虚拟环境里做不要在系统 Python 里直接装尤其是 Linux 系统自带的 Python 往往牵扯系统组件贸然升级或安装包容易把系统搞坏。Python 虚拟环境的管理工具我用下来觉得对新手最友好的是 conda因为conda不仅能管理 Python 环境还能处理 CUDA 相关依赖的依赖关系自动帮你装好 PyTorch 需要的cudatoolkit/pytorch-cuda等组件。你可以装完整版 Anaconda也可以装更轻量的 Miniconda。我更推荐 Miniconda因为 Anaconda 自带的很多预装包你用不上而且体积大、解析依赖慢。从官网下载对应系统的安装器即可中间步骤基本一路默认唯一要注意的是 Windows 安装时会让选择“Add Anaconda to my PATH environment variable”英文界面下我建议只勾选下面的“Register Anaconda as my default Python”PATH 让 Anaconda Prompt 自己接管否则可能和系统里其他 Python 解释器冲突。安装完成后打开终端Windows 下如果变量正常直接开 CMD 或 PowerShell 也行执行conda --version能正常输出版本号就说明环境没搭错。2.3 Python 版本怎么选PyTorch 对 Python 版本的兼容性近年来越来越好但还是要避开太新或太旧的版本。我一般建议选 Python 3.9 到 3.11 之间具体看你的 PyTorch 版本。截至这篇文章写作时PyTorch 稳定版已经支持 Python 3.12但一些老牌第三方库比如某些只有二进制的加速库可能还没跟上为了避免不必要的兼容性问题新手先选 3.10 是最稳的。创建环境的命令是conda create -n torch-gpu python3.10 -y conda activate torch-gpu环境名可以自己起torch-gpu只是示例。激活后你的终端提示符前面应该出现(torch-gpu)这表示你已经进入一个独立环境后面所有安装命令都在这个环境里执行。如果后续某个项目依赖冲突你可以随时conda deactivate离开环境甚至conda remove -n torch-gpu --all直接删掉重来完全不影响系统 Python这就是隔离环境最大的价值。创建环境时顺便把pip升级一下因为后面如果用 pip 路线安装新版 pip 的依赖解析更靠谱python -m pip install --upgrade pip3. 核心安装步骤选 CUDA 版本、敲命令、跑验证环境准备就绪后真正安装 PyTorch 反而只要几分钟。关键是选定一个 CUDA 版本然后从官方渠道拿到对应的安装命令。我见过很多人卡在版本选择上这里我把判断流程完整写出来。3.1 看懂官网安装命令的参数含义PyTorch 官网首页上有个选择器依次选你的操作系统、包管理器Pip 或 Conda、Python 版本、CUDA 版本然后页面会生成一条安装命令。这个命令看起来吓人其实拆开看很直白。比如 Conda 路线选 Linux Conda Python 3.10 CUDA 12.1生成的是conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia这里的pytorch-cuda12.1是关键它告诉 conda 去 NVIDIA 的频道拉取和 CUDA 12.1 配套的 CUDA Runtime 库这样 PyTorch 运行时就会使用这个版本的 CUDA 库。-c pytorch -c nvidia指定包的来源渠道如果你之前的源配置有问题安装过程中会反复卡在 Resolving Package 上这个我后面会讲怎么看。Pip 路线对应的命令是pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意--index-url这里指定到了 PyTorch 官方的下载索引而不是默认的 PyPI。PyPI 上也有名为torch的包但那个是 CPU 版本默认安装大概率给你装上不带 CUDA 的版本。这也是我朋友“装上但速度没变化”的另一个常见原因pip install torch和pip install torch torchvision torchaudio --index-url ...完全是两码事。那你需要选 CUDA 11.8、12.1 还是 12.4我给你的决策规则很简单先看你nvidia-smi右上角的 CUDA Version 支持上限比如显示 12.4那你选 12.1 或 12.4 都在安全范围内。再看你的显卡架构RTX 40 系至少需要 CUDA 11.8 以上老一些的显卡选 11.8 也很稳。最后考虑生态兼容现在很多主流开源库包括一些大语言模型微调工具已经全面兼容 CUDA 12.x所以新卡用户我建议直接上 12.1 或者 12.4没必要守旧。3.2 Conda 路线与 Pip 路线的取舍两条路线没有绝对优劣但适用场景不同。我的个人偏好是这样的如果是纯新手不想折腾底层依赖用 Conda 路线更稳因为它一层层解析好 PyTorch、CUDA Runtime、cuDNN 这些的版本关系。但 Conda 的历史包袱是依赖解析慢有时候一条命令要卡好几分钟尤其是漫无目的地加-c pytorch -c nvidia时如果网络不佳体验很差。Pip 路线的包体积更小安装速度一般也更快但你需要自己保证系统里有兼容的 NVIDIA 驱动。好消息是 Pip 安装的 PyTorch 会把必要的 CUDA 库以.so或.dll形式放进你的环境里所以即使你没单独装 CUDA Toolkit它也照样能跑。前提还是那条驱动版本要足够新。这里有个特别容易踩的坑千万不要在同一个 conda 环境里混用 conda 和 pip 来装 PyTorch比如先用 conda 装了 torchvision再用 pip 装 torch版本很容易不一致最终出现torchvision里报错说找不到某个 CUDA 库。如果你想用 pip 路线那 torch 和 torchvision 都用 pip 装保持同一个来源。3.3 装完的验证四件套装完之后别急着跑模型先跑以下四行命令逐层确认 GPU 是否可用python -c import torch; print(torch.__version__) python -c import torch; print(torch.version.cuda) python -c import torch; print(torch.cuda.is_available()) python -c import torch; print(torch.cuda.get_device_name(0))第一行查看 PyTorch 版本号正常会输出类似2.4.1cu121的格式cu121说明你装的是 CUDA 12.1 版本如果输出的是2.4.1cpu那你装成了 CPU 版需要回头检查安装命令。第三行输出True才说明 PyTorch 能访问到 CUDA 设备这一行如果输出False基本可以断定问题出在驱动或者版本匹配上。第四行会打印你的显卡名称比如NVIDIA GeForce RTX 4060 Laptop GPU看到这一行基本就能放心了。还有一个进阶验证看看 PyTorch 的实际计算能力是否可用以及是否能跑在 GPU 上python - EOF import torch print(torch.cuda.get_device_capability(0)) x torch.randn(10000, 10000, devicecuda) y torch.randn(10000, 10000, devicecuda) torch.cuda.synchronize() z x y torch.cuda.synchronize() print(z.item()) EOFget_device_capability(0)会返回类似(8, 9)的值对于 RTX 40 系来说就是 8.9。大矩阵乘法能顺畅跑完说明 GPU 上的 kernel 编译和启动都正常PyTorch 已经真正工作在显卡上了。4. 高频报错现场Windows、Ubuntu、WSL2 三个平台的问题排查这一节专门讲我遇到频率最高的三类安装失败现场。每个场景都是真实踩坑后的复盘而不是网上抄来的错误原因希望你能按我的排查顺序走一遍大概率能找到病根。4.1 Windows 笔记本识别不到独显怎么办情况一nvidia-smi能正常显示显卡和驱动信息但 PyTorch 的torch.cuda.is_available()返回False。这种情况第一嫌疑是 PyTorch 装成了 CPU 版。你执行python -c import torch; print(torch.__version__)看到cpu字样那就要卸载重装pip uninstall torch torchvision torchaudio -y pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121重装后再验证。如果版本号显示cu121但is_available()依然是False那就要查驱动版本和 CUDA 版本匹配了。到设备管理器里看 NVIDIA 显卡的驱动版本号然后去 NVIDIA 官网查这个驱动版支不支持你选的 CUDA 版本驱动太老就更新驱动。情况二nvidia-smi报找不到驱动但设备管理器里显卡却没有感叹号。这种多半是驱动服务没有正常启动。可以在设备管理器里右键点击显卡设备选择“禁用设备”然后再“启用设备”或者直接重启大部分情况能恢复。如果反复出现我会把现有驱动卸载干净删掉C:\Program Files\NVIDIA Corporation残留目录再用 NVIDIA 官网的驱动安装包重装。情况三Windows 下安装时提示 “ImportError: DLL load failed: 找不到指定的模块”。这个的元凶通常是系统缺少 Microsoft Visual C Redistributable。PyTorch 在 Windows 上依赖 VC 运行库你一搜一个准。到微软官网下载vc_redist.x64.exe装上重启终端再试这个错误就消失了。4.2 Ubuntu 下 apt/runfile 装 CUDA 失败的常见原因热搜词里有一条“ubuntu cuda安装指令安装不了”我太有共鸣了。Linux 下安装失败通常集中在三个点驱动程序加载失败、依赖包冲突、Secure Boot 拦截。先说驱动。Ubuntu 默认加载了开源的nouveau驱动和 NVIDIA 闭源驱动冲突。如果你用 runfile 安装 NVIDIA 驱动最正确的一步是先创建一个/etc/modprobe.d/blacklist-nouveau.conf写入blacklist nouveau options nouveau modeset0然后更新内核并重启sudo update-initramfs -u sudo reboot重启之后确认 nouveau 已停用lsmod | grep nouveau没有输出就说明干净了。这时候再运行 NVIDIA 驱动安装脚本成功率高很多。再说 Secure Boot。现在的笔记本和台式机主板默认开启 UEFI Secure Boot如果系统处于安全启动模式第三方驱动模块包括 NVIDIA是无法被内核加载的。你安装驱动时可能一切正常但重启后nvidia-smi还是报错看系统日志里有signature verification failed之类的字眼基本就是 Secure Boot 在拦截。最简单的方案是进 BIOS 把 Secure Boot 关掉改成 Other OS 或 Disabled。如果你的电脑是公司资产管理机不能动 BIOS还有一条路是给驱动模块签名但这过程非常繁琐新手不推荐。最后一类是依赖库问题。用apt install cuda的仓库安装方式时如果网络源慢或者 GPG key 过期会直接报错。相对稳妥的做法是直接放弃 apt改用 runfile 方式安装 CUDA Toolkitrunfile 会把 cuda 相关的库放在/usr/local/cuda-12.x目录里不依赖发行版仓库的版本管理后续也更可控。不过前面说了大多数跑 PyTorch 的人根本不需要单独装 CUDA Toolkit所以你要是只装了 PyTorch 后一切正常完全可以跳过这一步。4.3 WSL2 与 VMware 到底能不能用 GPU很多 Windows 用户不想在 Windows 下折腾 Python 环境想用 WSL2这是个非常合理的选择而且现在 PyTorch 官方对 WSL2 的支持已经很成熟了。WSL2 的特殊之处在于Windows 侧的 NVIDIA 驱动是“负责到底”的你不需要也不应该在 WSL2 内部安装 NVIDIA Linux 驱动只需要确保 Windows 侧驱动版本足够新。然后 WSL2 里那个 Linux 发行版会自动挂载一个/usr/lib/wsl目录里面带着libcuda.so和nvidia-smi工具。所以 WSL2 里的正确排查路径是/usr/lib/wsl/lib/nvidia-smi能输出显卡信息说明 GPU 已经透传到了 WSL2。然后你在这个 Linux 环境里按前面第 3 节的步骤安装 PyTorch完全不需要关心驱动只需要关注 CUDA 版本和 PyTorch 版本匹配。WSL2 里还要注意.bashrc里不要乱设CUDA_HOME因为默认路径/usr/local/cuda可能不存在乱设反而会让 PyTorch 报出“找不到 CUDA”的错误。如果报错说libcuda.so找不到可以用以下命令手动链接sudo ldconfig /usr/lib/wsl/libVMware 虚拟机的情况就比较麻烦了。默认情况下VMware Workstation 给虚拟机的显卡是虚拟 SVGA 显卡根本不会让你的 NVIDIA 独显暴露给虚拟机里的系统。所以你在虚拟机里的 Ubuntu 执行nvidia-smi几乎必然失败无论你安装多新的驱动都无济于事。如果确实要在虚拟机里用 GPU 做 PyTorch 训练需要走硬件直通PCI Passthrough路线但这要求你的宿主机主板和 CPU 支持相关虚拟化技术而且在 VMware Workstation 里配置复杂性能损失也大。我的建议别在虚拟机里跑 GPU 训练直接用 Windows 原生环境或者 WSL2这是最省力的方案。4.4 报错代码速查表为了让你在以后遇到报错时能快速定位方向我把常见的几个错误信息和排查方向整理到了下面这张表里报错特征优先排查方向torch.cuda.is_available()返回 FalsePyTorch 是否装了 CPU 版驱动是否正常驱动版本是否支持对应 CUDA 版本no kernel image is available for execution on the device显卡架构太新PyTorch 内置的 CUDA 版本过旧尤其是 RTX 40 系的用户要避免cu117及更早版本CUDA error: device not set环境里设了错误的CUDA_VISIBLE_DEVICES检查环境变量Driver/library version mismatch驱动和 CUDA 运行时不匹配需要更新驱动或改用更低的 CUDA 版本ImportError: DLL load failed (Windows)安装 Visual C Redistributablenvcc not found你需要 CUDA Toolkit 但没装或环境变量未配置如果只用 PyTorch 可忽略No CUDA GPUs are availableLinux 下驱动模块未加载WSL2 下没执行sudo ldconfig /usr/lib/wsl/libSegmentation fault装新版驱动后重启崩溃多半是 Secure Boot 拦截驱动模块检查内核日志这张表不是说遇到问题照着搬答案就行排查的底层逻辑永远一样驱动能不能看到 GPUPyTorch 版本是不是 GPU 版CUDA 版本和驱动是否兼容三关依次过。只要这三个问题按顺序解决了99% 的安装失败都能排除。一点实操体会最后分享一个我自己的习惯也是踩过多次坑后总结的装完 GPU 版 PyTorch 后我会把torch.__version__、torch.version.cuda、torch.cuda.is_available()和显卡名称这四个输出截图放到项目文档里。不是做给谁看而是当你遇到“模型训练慢”这种模糊的问题时这份记录能立刻帮你排除环境层面的嫌疑专心去看代码和数据的麻烦。装 GPU 版 PyTorch 这件事本身真不是那种需要多高技术水平的事它只考验你有没有耐心把前面三步走对驱动确认、环境隔离、版本匹配。把这套顺序刻在脑子里以后无论是换新电脑、升级显卡还是帮同事排错你都能五分钟内搞定而不是重新经历一整轮的搜索和试错。
