1. 写在前面为什么高校学生越来越需要租GPU先说结论但凡你在校园里跑过深度学习实验应该都体会过什么叫“算力焦虑”。实验室几台机器轮流排队导师的模型一训就是两三天你这边连个MNIST都跑不利索自己电脑倒是能跑显存8G撑死加载个ResNet-50想微调一下BERT直接OOM至于Kaggle、Colab免费额度断连、排队、限时三板斧下来心态基本就崩了。我也是从这条路上走过来的。研究生前两年干的最多的事情就是“想办法搞到一张卡”。后来帮学弟学妹们搭环境、选平台前前后后把国内主流的GPU租用服务都摸了一遍踩过不少坑也总结出一些比较实用的判断标准。这篇就把我实测过、也愿意继续付费的4家平台拿出来做个横向对比覆盖价格、卡型、易用性、适合场景和隐藏扣费项尽量把话说透。先说清楚这篇指南主要面向这几类人刚入门深度学习、需要跑通课程作业或复现论文的学生手里有模型要训练但实验室算力紧张的研究生以及在秋招/毕设阶段需要短期跑实验、不想给台式机再添一张显卡的准毕业生。如果你只是跑跑小数据集、学习一下PyTorch语法那其实免费额度就够用不必花钱但如果你已经开始碰ImageNet级别数据、Transformer结构或大模型微调那租卡基本是绕不开的选项。GPU租用这件事本质上就是把“买卡”变成“按小时买算力”把一次性几万块的成本拆成每小时几块钱。理解了这件事你再看各家平台的定价和计费设计思路就会清晰很多。2. GPU怎么选先搞懂你需要的“卡”到底是什么很多学生第一次打开租用平台面对满屏的“RTX 3090”“A100 80G”“V100 32G”会有点懵不知道该选哪个。这里先说一套很粗但实用的筛选逻辑看显存、看算力、看显存带宽最后看价格。深度学习任务大头是矩阵乘法和卷积这两件事主要靠GPU的Tensor Core和显存带宽顶着。入门和课程级任务图像分类、CNN、简单RNN选RTX 4090或者RTX 3090都够用。24G显存的好处在于你可以不用太纠结batch sizeResNet、ViT-Small甚至一些轻量级生成模型都能跑。实测下来4090在训练效率上基本是3090的1.5到2倍但价格也贵一截视预算而定。目标检测、语义分割、Transformer中等规模微调建议选3090或A100 40G这个档位。尤其是NLP里微调BERT、T5这类模型显存不够是真的寸步难行梯度累积加上去训练时间翻倍语法上没问题但钱包受不了。大模型微调7B及以上、全量微调、PEFTLORA这类老实上A100 80G或H800吧。很多人问“我用4090跑大模型微调行不行”只能说能跑但只能跑极小的batch size稍微长一点的序列就OOM。80G显存可以让你把batch size、序列长度、LoRA rank这些超参调到比较正常的范围不必天天和显存做斗争。另外一个容易被忽略的指标是GPU之间的通信方式特别当你需要多卡并行。同一个实例内多卡走NVLink/NVSwitch性能远好于跨实例走以太网。如果你只是单卡跑实验那通信这块可以不用管但如果你打算上分布式训练建议优先选同一物理机内的多卡套餐否则光是初始化就够你折腾半天。关于显存溢出的问题后面我会单独写一节常见的排查技巧。这里先记住一句话租卡的时候显存宁多勿少很多OOM不是算力不够而是显存卡死。3. 4家平台速览定位、优劣势和适用人群先给个总览表后面再逐个拆解。我测下来的总体感受是没有“最好的平台”只有“最适合你当前阶段”的平台。每家平台的底层卡资源实际差不多真正的差距体现在调度策略、易用性和计费设计上。平台主力卡型计费模式适合人群我的综合评分AutoDL4090 / A100 / 3090按小时含关机计费半价日常炼丹、课程作业、中小实验9/10恒源云4090 / A100 / V100按小时按量计费习惯命令行、需要灵活开关机的老手8.5/10矩池云3090 / 4090 / A100按小时分钟级计费课题组协作、需要预装镜像的人8/10揽睿星舟A100 / 4090 / 800系列按小时预充值大模型微调、企业级项目、跑长任务8.5/10以上评分带有个人主观成分别太当真。更关键的是各家在细节上的差异下面逐家聊。3.1 AutoDL上手门槛低学术型选手的首选AutoDL是目前校园圈子里知名度最高的一家很大原因在于它的“学术加速”和“无卡模式”设计确实切中学生痛点。注册之后第一次创建实例大概十分钟内能跑起来界面是图形化的可以选镜像、选卡型、选数据盘大小全程不需要跟命令行死磕。价格上我这个月在AutoDL跑了几次4090每小时大约2到3元区间比同配置的公有云便宜不少。很多人会忽略一个细节AutoDL的“关机后计费减半但仅收存储费”意思是实例关机状态下GPU不再计费但系统盘和数据盘还是会按容量收取少量费用。这个设计对学生很友好因为你可以白天调代码、晚上关机省成本第二天再开机接着跑环境还在。AutoDL让我比较满意的是镜像市场。PyTorch、TensorFlow、PaddlePaddle都有现成镜像版本可以自己选CUDA、cuDNN也基本配好了。哪怕是你想用“动手学深度学习”的d2l包或者PyTorch的L2正则化实验代码直接在JupyterLab里配置环境就行省掉了在裸机上装CUDA的痛。缺点也很明显热门卡型经常无货尤其是晚上和周末4090经常要排队。另外AutoDL的大模型相关镜像更新速度一般如果你是冲着一键微调大模型去的可能需要自己装一些依赖。适合谁刚开始接触租GPU的本科生、研究生以及主要跑中小规模模型、希望“开机即用”的人。3.2 恒源云按量计费灵活老手专属恒源云比AutoDL更“极客”一些它的界面不像AutoDL那么花哨但按量计费的粒度很细可以按分钟结算特别适合“断断续续跑实验”的人。比如说你白天在公司或学校调代码晚上回家开机跑两小时第二天早上再看结果这种节奏下恒源云的成本控制做得很好。卡型选择上恒源云有4090、A100、V100等主流卡部分节点还有比较老的2080Ti和T4价格更低适合不太吃显存的任务。需要注意的是恒源云的数据盘和系统盘是分开计费的而且一些套餐的存储空间需要额外购买买之前看清楚容量和价格别到时候一开机才发现磁盘满了。这个平台吸引我的一点是它提供了相对友好的SSH直连体验。你可以像操作自己服务器一样用终端连上去跑TensorBoard、开Jupyter、传数据所有端口映射都比较自由。如果你以后打算进互联网公司做算法岗提前习惯这种纯命令行的操作模式其实也是一种积累。但恒源云对新手不算友好镜像模板少一些部分镜像里的PyTorch版本和CUDA版本需要自己调整。之前我帮一个学弟在上面配环境光是nvidia-driver和PyTorch的CUDA版本不匹配就折腾了一晚上后来直接换了AutoDL才解决。所以建议至少有一定Linux基础再来用恒源云。3.3 矩池云镜像和团队协作做得不错矩池云最开始我是被它的“RTX 3090按小时租赁”价格吸引过去的后来发现它真正的亮点在镜像管理和团队协作。矩池云的镜像系统允许你把自己配置好的环境导出为镜像下次创建实例时一键加载。这个功能对于课题组特别有用——你花了一周配置好的PyTorchOpenMMLab环境直接导出镜像发给同门他那边秒级复制再也不用重复采坑。我自己有一次帮实验室搭了完整的mmdetection环境后来直接传到矩池云镜像几个师弟师妹用起来都挺顺利。价格方面矩池云整体和AutoDL接近但偶尔会有特价活动比如特定时段的3090会便宜一点。它也有类似“关机不计费”的选项只不过存储费用计算方式和AutoDL略有不同跑长任务前建议自己算一下。矩池云的劣势在于界面操作偶尔会卡顿创建实例有时候要等比较久另外客服响应速度一般遇到问题主要靠文档自救好在它的文档写得还算全。适合谁有团队协作需求、需要频繁迁移环境、已经对深度学习环境有一定了解的人。3.4 揽睿星舟大模型、长任务的上选揽睿星舟这个平台在高校圈里讨论度没那么高但如果你开始接触大模型微调它就变得很有存在感。揽睿星舟的卡型覆盖包括A100 80G、H800等高端卡而且对长任务支持比较友好。它的计费方式偏向“预充值按小时扣费”跑个几十小时的微调任务不太会中途因为欠费停机。更关键的是它提供了比较完善的任务管理和日志系统你可以把训练脚本丢进去然后定期查看输出不必一直盯着终端。这点和传统租卡平台“实例SSH”的模式体验不同更接近云厂商的“训练任务”抽象。我自己在揽睿星舟上跑过一次Llama-2-7B的LoRA微调配了A100 80G体验比较流畅显存占用控制在60G上下batch size可以开到8到16这在4090上是不太现实的。不过揽睿星舟的价格相对偏高入门学生如果只是跑课程作业性价比不如AutoDL。另外平台的社区和文档规模比前三家小遇到问题需要自己多花点时间排查。适合谁开始做大模型相关实验、需要稳定长任务训练、预算相对充裕的研究生或准科研人员。4. 实操过程与关键技巧从注册到跑通一次训练这个环节我会把一个典型的租用流程走一遍从注册到成功跑起PyTorch训练讲清楚每一步的核心操作和你可能会掉进去的坑。4.1 创建实例时的三个关键选择创建实例时通常需要你选择三样东西镜像、卡型、数据盘大小。很多新手只关注卡型忽略另外两个后面就出各种问题。镜像选择上我的建议是“选成熟镜像不选最新镜像”。以PyTorch为例选择带“1.13”或“2.0”的稳定版镜像通常比追“2.1 nightly”版本省心很多。因为很多第三方库如mmcv、transformers对新版本PyTorch的适配往往滞后你装完A库又因为A库和B库的依赖冲突而报错纯浪费时间。数据盘大小上建议把系统盘和数据盘分开理解。系统盘放环境20到30G足够数据盘放数据集和模型权重根据项目大小来定。很多人贪便宜选了最小数据盘结果CIFAR、ImageNet这种数据集往里一拷就满了又得重新扩容很影响心情。扩容虽然通常不用换实例但涉及数据迁移建议一步到位。卡型选择上先算一下自己模型的显存占用。有一个粗略的估算公式参数量乘以精度字节数再乘以优化器系数。以FP16混合精度训练为例一个7B参数的模型光参数和梯度就接近28G加上优化器状态和激活值A100 80G几乎是必须。小模型比如BERT-base约1.1亿参数用FP32训练大概需要4到8G显存3090/4090完全够。4.2 SSH与端口映射为什么你连不上JupyterSSH连接是租GPU之后最常用、也最容易出问题的环节。大部分平台在你创建实例后会给你一个SSH登录命令形如ssh -p 12345 rootregionX.thudm.com密码在控制台里显示。第一次连接时常会遇到“Permission denied”或者“Connection refused”原因多半是密码复制多了空格或者平台还没把SSH服务启动完成等一两分钟再试就好。JupyterLab的访问逻辑和SSH不太一样通常是通过平台提供的“自定义服务”或“端口映射”来实现。比如你想在实例上开一个8888端口的Jupyter就要先在平台控制台里把实例的8888端口映射到一个公网地址然后浏览器访问那个地址。有些平台还支持一键打开JupyterLab省去手动映射。这里分享一个我踩过很多次的坑用nohup或者screen启动训练脚本而不仅仅是python train.py。因为SSH会话一旦断开前台进程就会被杀掉训练也就中断了。我一般是这样操作的在终端里先screen -S train开一个新会话然后在会话里运行训练脚本用CtrlAD退出会话之后随时可以用screen -r train重新进去看进度。这样哪怕电脑休眠、网络断开训练仍然在远端跑着。4.3 文件传输大数据集怎么快速传上去传代码和小文件用scp或者平台自带的网盘都行。但传几十个G的数据集就要讲究一点方法。推荐用压缩包断点续传的方式。先把数据集压缩成单个tar.gz文件然后通过支持断点续传的工具比如lrzsz的rz/sz在交互式终端里用或者用FileZilla这类SFTP客户端上传。不要直接拖一个几百MB的小文件队列每个文件都要经过一次握手效率极低而且中途断了就前功尽弃。其实更省事的方式是用网盘同步。很多平台内置了阿里云盘、百度网盘的同步插件或者支持从URL直接下载。你只要把数据集传到自己的网盘里然后在实例上用命令行工具下载速度往往比scp快得多。我传一个15G的检测数据集用平台网盘中转十分钟左右就搞定而scp可能要跑四十分钟。4.4 环境安装的顺序先定版本再装包在租来的GPU上配置深度学习环境最忌讳的就是“先装包、后想版本”。这里给一套我验证过多次的顺序适用于绝大多数PyTorch项目确认CUDA版本运行nvidia-smi看Driver Version和CUDA Version。不一定说PyTorch的CUDA版本必须和驱动完全一致但驱动版本不能低于PyTorch需要的CUDA版本。创建虚拟环境用conda创建独立环境而不是直接在base环境里装包。conda create -n torch python3.10然后conda activate torch。安装PyTorch去PyTorch官网选对应CUDA版本的安装命令比如pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。注意不要用pip install torch直接装那个默认是CPU版本或者CUDA版本不确定特别容易出坑。验证GPU可用在Python里运行import torch; print(torch.cuda.is_available())输出True再继续装其他依赖。最后装项目依赖比如transformers、mmcv、timm等装完再跑一遍训练脚本确认没有import错误。这套顺序几乎能规避掉90%的“为什么我的PyTorch用不了GPU”类问题。很多新手一上来就pip install -r requirements.txt结果torch被降级成CPU版跑起来发现奇慢无比还以为是机器问题。5. 真实成本对比跑同样的任务四家相差多大光说体验不说钱那就是耍流氓。我拿一个典型的深度学习任务来做个对比测试微调ResNet-50ImageNet-1k的10%子集batch size 256训练30个epoch大致相当于3090上跑6个小时的工作量。我用同一个脚本分别在四家平台上跑记录实际产生的费用。先说AutoDL选RTX 309024G单价约每小时2.5元6小时费用大约15元。中途我关了一次机再开机关机期间只收存储费约每小时0.1元。总计约16元。恒源云同样选RTX 3090按分钟计费单价约每小时2.6元使用分钟数略有零头6小时总计约16元。但注意恒源云的数据盘是单独买的20G数据盘约每月5元按量折算到这次任务约1元总计约17元。矩池云RTX 3090价格相近约2.4元每小时镜像导出和创建实例不额外收费但存储费用单独算总计约16.5元。揽睿星舟如果选A100 80G单价约6到7元每小时6小时约40元如果也选3090价格和前面几家差不多。所以跑中小任务用它不划算。这里还涉及一个很容易被忽略的成本等待成本。高峰期AutoDL的4090要排队假设你排队等了2小时虽然不计费但时间成本也是成本。如果你任务急建议提前看好各家的余量情况灵活切换平台。另外按量计费平台通常会有“最低消费时长”之类的规则比如创建实例至少开机1小时关机后再次开机要重新计费。这个在批量跑多个小实验的时候尤其要小心不然你会发现每次开关机都扣了1小时的钱实际跑的任务只有20分钟成本翻好几倍。6. 常见问题与避坑实录这一节把我自己以及周围同学遇到过的高频问题整理成一个速查表附带排查思路。这些问题如果你已经跑到一定阶段大概率都撞上过。问题现象主要原因解决方案PyTorch检测不到GPUtorch.cuda.is_available()为FalseCUDA版本与驱动不匹配或装成了CPU版重装对应CUDA版本的PyTorch按4.4节顺序操作显存不足OOM训练中途报CUDA out of memorybatch size过大、序列过长、显存碎片减小batch size或开启梯度累积使用混合精度检查是否有显存泄漏SSH连不上Permission denied、超时密码错误、服务未启动、公网IP变更重新复制密码、等待几分钟、检查平台控制台状态Jupyter打不开浏览器无法访问端口映射未配置或安全组拦截在控制台正确映射端口检查防火墙用无痕模式试一次实例重启后环境丢失虚拟环境消失、包不可用系统盘是临时盘、写入未保存在持久盘使用平台提供的数据盘或自定义镜像保存环境不要完全依赖临时目录训练脚本被杀nohup后进程消失日志中断SSH断开导致进程收到SIGHUP用screen/tmux或平台自带的任务提交功能数据盘空间不足数据集写入报No space left初始数据盘容量太小创建时选大容量数据盘或转移数据到网盘/对象存储单独说几个我认为值得展开的坑。第一个坑和“格式化工厂GPU加速不出来”的搜索结果有点类似就是很多人以为安装完驱动和CUDA就万事大吉但实际上容器化环境里的GPU透传可能没开。租用平台通常已经帮你处理好了但如果你在自己搭建的Docker里跑深度学习记得启动容器时加--gpus all参数否则容器内根本看不到GPU。第二个坑是“免费GPU训练模型”这事别抱太大期望。免费额度要么限时要么限显存要么断连要么排队半天。用来学习可以但正经科研实验不稳定。我当时用免费额度跑了一个12小时的训练凌晨断线结果早上起来发现模型权重只保存到第8个小时前功尽弃。自那以后重要任务我必上付费卡。第三个坑是关于“深度学习环境配置GPU版”的搜索很多教程会教你手动装NVIDIA驱动。但在租用平台上这一步通常完全不需要你做驱动是平台预装好的。你要是手贱在实例上重装驱动反而可能把整个环境弄崩还得重新创建实例。在租用平台上你的操作范围基本停留在PyTorch、conda、Python包这个层面尽量不要碰内核层的东西。第四个坑和网络相关有时候训练中途发现数据加载特别慢GPU利用率只有30%左右。新手以为是GPU不行实际上是数据加载线程数和数据预处理方式的问题。在租用平台上数据往往是网络盘I/O比本地盘慢建议先用torchdata或webdataset做流式读取或者把数据先拷贝到实例的本地数据盘再做DataLoader训练速度能有很大提升。7. 一些选型之外的个人心得最后分享一点我自己的体会不一定对但你听了可能会少走点弯路。第一租GPU这件事别只看单价。单价便宜但存储费、镜像费、排队时间加起来最后总成本未必低。建议第一次用时小额充值把创建、存储、传输、关机、再开机这套流程完整走一遍算一下实际花销再进行大额充值。很多平台充了钱就不太好退谨慎一点没坏处。第二平台换着用是常态不用死守一家。我的做法是AutoDL和恒源云各充一点小金额谁家有卡用谁家矩池云作为课题组的共享资源大模型任务才考虑揽睿星舟。这样既避免高峰期卡荒也能让成本处于相对低位。第三培养良好的实验习惯比选平台更重要。实验记录、随机种子、代码版本管理、自动保存checkpoint这些做不好再贵的GPU也救不了你。尤其是长任务训练每隔一个epoch保存一次模型权重不仅是常识更是对你时间和金钱的尊重。第四能跑通小实验再上大机器。不要一上来就租一张A100 80G去跑一个你还没调通的代码。先在本地用小数据集、小模型把流程跑通确认没有bug了再上大卡。这样不仅省钱也更不容易浪费排队时间。我之前见到过很多同学代码里一个维度错误上卡前没测上卡后跑了两小时才报错白白烧掉几十块心态直接崩了。第五重视数据管理。很多平台的数据盘是独立的关机后仍会产生存储费用长期不用的数据尽量下载回本地或者转存到公共网盘不要一直放在平台里。我之前有一个项目的数据集在AutoDL上放了半年关机状态下存储费累计了差不多二十多块钱虽然不贵但完全没必要。说了这么多其实核心就一句话GPU租用是工具不是目标。工具选对了你的精力才能真正花在算法、模型和实验设计上而不是跟环境较劲。希望这篇实测对比能帮你省下一些时间也省下一些真金白银。如果看完还有什么细节没说明白欢迎在评论区把你的具体场景写出来我看到会尽量回复。