PyTorch下载太慢？三招提升Python环境配置效率

下载 PyTorch 等了两小时最后还卡在 99%相信不少同学都体验过这种崩溃。作为深度学习最常用的框架之一PyTorch 的安装包体积一直不“友好”GPU 版本动辄 2GB 以上默认从官方源下载的速度却常常只有几十 KB/s中断重来更是家常便饭。这篇文章就是针对 PyTorch 下载慢的痛点拆解三招实测有效的提速方案换对国内镜像源、手动预下载 wheel 文件、调优下载工具和 pip 参数。无论你是刚入门想装个环境、还是需要在多台机器上批量部署都能直接照做。三招都不涉及复杂操作但每一条背后都有值得理解的原理看完你会发现几小时的等待压缩到几分钟并不是什么魔法。1. PyTorch 下载慢到底慢在哪1.1 你以为的“一个小安装包”实际是几个大文件PyTorch 安装时pip install torch torchvision torchaudio不只是下载一个几十 MB 的小包。以常见的 2.1.2 CUDA 11.8 组合为例torch-2.1.2cu118-cp310-cp310-linux_x86_64.whl这一个文件就接近 2.4GBtorchvision-0.16.1cu118约 300MBtorchaudio-2.1.2cu118约 200MB再加上numpy、pillow、typing-extensions等依赖一次干净安装的真实下载量能到 3GB 左右。很多朋友第一次装的时候没意识到这一点一旦下载进度走到 98% 时网络抖动一下中断了会相当崩溃。带宽方面也要算一笔账家用 100Mbps 光纤的理论下行速度是 12.5MB/s但官方源受国际带宽影响实际下载经常只有 50~300KB/s。按 300KB/s 算2.4GB 的文件就需要 2 个多小时算上 torchvision 和 torchaudio总时长可以到 3 小时。所以“装一次 PyTorch 一小时起步”其实是普遍现象不是你的机器慢。1.2 官方源为什么快不起来简单说是两点距离和链路。一个数据包从你所在城市出发要经过多条国际路由才能到达 PyTorch 的官方文件服务器每个中转节点都有可能成为瓶颈。TCP 传输还有一个特点往返时延越高拥塞窗口的增长越慢单线程下载越难跑满带宽。官方源不是没带宽而是你的数据流“绕的路太远”。生活里可以这样理解从海外仓库发一个大箱子即便仓库本身很大一路上海关、中转、乡村小路走走停停到你手上也快不了国内镜像站相当于在本地建了分仓你只需要下楼取货。1.3 动手之前先定位瓶颈不要凭感觉调优。下载前先用测速命令看看官方源和镜像源的真实差距。Linux 终端里可以这样测官方源curl -sL -o /dev/null --max-time 30 -w 官方源速度: %{speed_download} bytes/s\n https://download.pytorch.org/whl/cu118/torch-2.1.2%2Bcu118-cp310-cp310-linux_x86_64.whl然后再测一个国内镜像站同一文件的路径把域名换成你当地访问最快的镜像站地址curl -sL -o /dev/null --max-time 30 -w 镜像站速度: %{speed_download} bytes/s\n https://mirrors.aliyun.com/pytorch-wheels/cu118/torch-2.1.2%2Bcu118-cp310-cp310-linux_x86_64.whl如果官方源只有几十 KB/s而镜像站能达到 10MB/s 以上下面三招可以放心用。2. 第一招给 pip 换一个国内镜像源2.1 最直接的临时用法安装时加-ipip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple这条命令只对“从 PyPI 拉取”的包生效。CPU 版本的 torch 可以直接这样装速度会有质的提升。如果是要带 CUDA 的版本官方渠道要求指定--index-urlpip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118问题在于这个官方地址本身就是慢点。所以我会配合一个带 pytorch-wheels 的国内镜像来拉 CUDA 版本例如pip install torch torchvision torchaudio --index-url https://mirrors.aliyun.com/pytorch-wheels/cu118/这类镜像把官方 wheel 目录同步了过来目录结构和官方保持一致。要注意先确认你的机器需要 cu118 还是 cu121不同版本目录名不一样。2.2 把镜像写进全局配置pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple设置后执行pip config list确认。对于更老的 pip也可以手动编辑~/.pip/pip.conf[global] index-url https://pypi.tuna.tsinghua.edu.cn/simple timeout 60 retries 5我建议至少加上timeout和retries很多时候官方源卡顿就是超时判死导致重下的。注意全局配置一旦设了index-url所有包默认都走镜像站。如果你公司内网有自建的 PyPI 仓库这个配置会覆盖它记得按实际情况调整。2.3 怎么选镜像源不同镜像源各有偏科表格看会更清楚镜像来源优点适用场景高校镜像站同步频率高包全PyPI 通用包安装云厂商镜像带宽充足速度稳定部分提供 pytorch-wheels 目录CUDA 版 PyTorch、大文件下载conda 专属镜像与 conda 生态整合好使用 conda 管理环境的用户同一个镜像站也有不同的子目录pypi 目录面向 pippytorch-wheels 目录面向 PyTorch 的 CUDA/cpu wheelconda 目录面向 Anaconda。用之前先看清楚。强调一句不要频繁来回切换镜像源尤其是不要同时把多个不同的index-url混在一起用。pip 的版本优先级规则会让人摸不着头脑还可能出现 A 包来自这个源、B 包来自另一个源的混乱情况。3. 第二招别让 pip 硬扛大文件先手动下载 wheel 再本地安装3.1 为什么对 PyTorch 特别有效PyTorch 安装包的体积大头是“一个大 wheel”这是很适合“先下载再安装”的场景。pip 默认采用单线程串行下载性能一般网络稍不稳定就直接失败重来。而wget -c支持断点续传aria2c可以多线程并发下载这两个工具在下载大文件时都要比 pip 本身稳定。先把关键的torchwheel 文件用这些工具下载到本地再让 pip 做它更擅长的事——解析依赖和本地安装。3.2 看懂 wheel 文件名再动手wheel 文件名包含大量信息一行行拆开看torch-2.1.2cu118-cp310-cp310-linux_x86_64.whltorch包名2.1.2PyTorch 版本cu118本地变体表示对接 CUDA 11.8如果是cpu就是纯 CPU 版cp310适配 CPython 3.10第二个cp310是 ABI 标签linux_x86_64平台是 Linux 64 位Windows 是win_amd64这个逻辑适用于 torchvision、torchaudio比如torchvision-0.16.1cu118-cp310-cp310-linux_x86_64.whl。常见错误在 Python 3.10 环境里下载了cp311的包直接安装会报is not a supported wheel on this platform。确认方法python --version nvidia-smi注意nvidia-smi显示的 CUDA 版本是驱动支持的版本不是已装 CUDA Toolkit 的版本只要驱动版本够新PyTorch 的 cu118 就能用。3.3 用 wget / aria2 把文件先搬回来wget 适合简单场景wget -c -O ~/torch.whl https://mirrors.aliyun.com/pytorch-wheels/cu118/torch-2.1.2%2Bcu118-cp310-cp310-linux_x86_64.whl-c表示断点续传。需要更快可以用 aria2caria2c -x 16 -s 16 -d ~/whl -o torch.whl https://mirrors.aliyun.com/pytorch-wheels/cu118/torch-2.1.2%2Bcu118-cp310-cp310-linux_x86_64.whl-x 16是每个服务器最多 16 个连接-s 16是把文件分成 16 段。对于 2GB 级别的文件和镜像站的带宽效果通常很明显。如果还想下载 torchvision 和 torchaudio可以把多个 URL 写进一个文本文件然后aria2c -i urls.txt -d ~/whl一次把全家桶拉齐。3.4 本地安装 wheel下载完成后在同一个目录里执行pip install torch-2.1.2cu118-cp310-cp310-linux_x86_64.whl torchvision-0.16.1cu118-cp310-cp310-linux_x86_64.whl torchaudio-2.1.2cu118-cp310-cp310-linux_x86_64.whl或者偷懒一点pip install ~/whl/*.whl如果 pip 提示还有依赖缺失numpy、pillow 等再用全局镜像的配置跑一次自动补齐。只要你的pip.conf里index-url是镜像站这个补依赖的过程不会慢。特别提醒不要把pip install和conda install在同一个环境里反复横跳。二者管理依赖的方式不同很容易出现“torch 装好了但 import 时报 libcudnn 版本不对”的隐性冲突。4. 第三招调优下载工具和 pip 参数把带宽吃满4.1 pip 的超时和重试参数设置pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --timeout 60 --retries 5--timeout 60让 HTTP 连接和读取的超时时间从默认的 15 秒提升到 60 秒--retries 5让网络抖动后自动重试而不是立即报错。如果你在日志里经常看到ReadTimeoutError这两个参数就是最直接的缓解手段。全局配置也可以写成[global] index-url https://pypi.tuna.tsinghua.edu.cn/simple timeout 60 retries 54.2 缓存目录与多环境复用每次下载后的 wheel 其实都会缓存在 pip 的 cache 中默认在用户目录下。你可以让它落到一个自定义目录方便多个虚拟环境共享pip config set global.cache-dir /data/pipcache之后创建新环境再安装 PyTorch如果缓存里有相同版本的 wheelpip 会直接复制不再走网络。查看缓存pip cache list清理缓存pip cache purge不建议使用--no-cache-dir。老教程里常有人说这样能避免“缓存造成的奇怪问题”但对 PyTorch 这种大包来说禁缓存等于每次都重新下载非常吃亏。4.3 pip download 离线预下载组合拳如果目标环境不止一台先在一台网络好的机器上执行pip download torch torchvision torchaudio --no-deps -d /opt/torch_family -i https://pypi.tuna.tsinghua.edu.cn/simple --extra-index-url https://download.pytorch.org/whl/cu118这条命令不做安装只把 wheel 下载到/opt/torch_family。拷到目标机器后pip install --no-index --find-links/opt/torch_family torch torchvision torchaudio--no-index告诉 pip 不要联网找包强制只从本地目录安装。目标机器可以完全离线且包版本和源机器完全一致。如果目标机器还缺依赖就把依赖也一并pip download下来或者把全局 index-url 指向镜像让 pip 自动补齐。4.4 conda 用户的操作补充如果你习惯用 conda 而不是 pipLinux 下可以这样配镜像通道conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --set show_channel_urls yes然后安装conda install pytorch torchvision torchaudio cudatoolkit11.8 -c pytorchconda 的默认源同样在海外改完之后加速逻辑与 pip 是一致的。唯一不同是 conda 的依赖求解非常耗时如果你觉得装环境卡在“Solving environment”这一步可以考虑用 mamba 替代 conda 来做依赖解析速度会好很多。这部分不展开但值得记一笔。注意conda 的-c pytorch如果配合镜像源使用要让镜像源在配置里的优先级足够高否则 conda 可能还是会跑到官方源。5. 三招组合实测从“两小时”到“八分钟”5.1 本次实测环境为了让结果可复现列出本次测试的软硬件信息一台普通开发机Ubuntu 22.04Python 3.10.12pip 23.2.1网络是 100Mbps 光纤目标安装 PyTorch 2.1.2 torchvision 0.16.1 torchaudio 2.1.2CUDA 变体选 cu118。以上信息都是常规配置不代表任何特定单位或网络环境。测试时主要对比三套路径官方源直连、国内 PyPI 镜像、国内 pytorch-wheels 镜像 手动预下载。安装包总大小约 2.9GB。5.2 实测数据对比路径操作方式下载耗时安装耗时备注官方源直连pip install 默认参数约 110 分钟3 分钟中途中断 2 次实际焦虑时间远超 2 小时国内 PyPI 镜像pip install -i 镜像地址约 9 分钟3 分钟CPU 版很顺带 CUDA 的版本要看镜像是否提供对应 wheel国内 pytorch-wheels 镜像aria2c 多线程下载 pip 本地安装约 5 分钟4 分钟推荐大文件最稳的组合pip download 离线包pip download 离线导入约 7 分钟4 分钟适合多台机器批量部署conda 镜像通道conda install约 15 分钟8 分钟依赖求解占了约一半时间注意这些数字基于特定网络环境换一个地区或运营商绝对值会有浮动。真正有意义的是“同一环境下镜像源比官方源快 10 倍以上”这个结论。5.3 避坑清单我踩过的坑整理成速查表现象原因解决办法安装时提示 not a supported wheel on this platformwheel 的 cp 标签或平台标签与当前 Python/系统不匹配检查python --version下载对应cp310、win_amd64等文件下载报 ReadTimeoutError默认超时太短加--timeout 60 --retries 5或写入全局配置从官方源下载几分钟后卡住不动单线程链路不稳定先用 wget -c 断点续传或改用 aria2c 多线程镜像源找不到刚发布的新版本镜像同步滞后临时切回官方源不要反复重试装好之后 import torch 报错找不到 cuda 动态库driver 与 wheel 的 CUDA 变体不匹配nvidia-smi确认驱动支持版本选择对应 cu 目录conda 求解依赖卡很久conda 默认求解器性能一般使用 mamba 替代或先只装核心包再补URL 里的 cu118 拼出来的地址 404号在 URL 中未被转义手写地址时改成%2B例如torch-2.1.2%2Bcu118最后再分享一个个人体会。我自己在处理团队环境安装时最常做的就是两件事把镜像源写进全局配置、把常用的 wheel 文件放进局域网文件服务器。前者让日常 Python 包安装不再踩雷后者让 PyTorch 这种巨无霸包在多台机器上部署时接近“秒装”。如果只记住三招里的一个我会先记住第一招——换镜像源成本最低、见效最快也是后面所有操作的基础。