如何在 AutoDL 上租用 GPU 算力服务器

这篇教程带你完成一件具体的事：在 AutoDL 上租用一台 GPU 云端容器实例，并把它用于深度学习、AIGC 或科研计算任务。你会学到怎么判断自己是否需要云 GPU、如何选择计费方式和 GPU 型号、怎样创建实例、如何上传数据和运行命令，以及用完后怎么关机、备份和控制费用。

AutoDL 的基础使用流程很短：注册后进入控制台，在“我的实例”里点击“租用新实例”，选择计费方式、地区、GPU 型号、GPU 数量、空闲主机和镜像，创建后通过 JupyterLab 或终端开始工作。真正容易踩坑的地方不在按钮，而在前面的选择和后面的收尾：选错镜像会装依赖很久，忘记关机会继续计费，只把重要数据放在实例本地盘也有风险。

什么时候值得租云端 GPU

本地电脑能跑通小脚本，不代表适合做深度学习和 AIGC 实验。只要任务开始依赖 CUDA、显存、长时间训练或批量推理，云端 GPU 就会变成更灵活的选择。

适合租 GPU 云服务器的场景包括：

• 复现论文、课程项目、开源模型训练或微调。
• 运行 Stable Diffusion、ComfyUI、视频生成、语音模型等 AIGC 工作流。
• 临时做批量推理、数据处理、Embedding 生成或模型评估。
• 本地没有 NVIDIA GPU，或者显存不足以加载模型。
• 团队还没确定长期硬件投入，只想先验证任务规模和成本。

不太适合云端算力的场景也要提前排除：

• 数据极度敏感，团队没有明确的数据脱敏、上传权限和存储策略。
• 需要很低延迟的线上推理服务，临时容器实例未必是合适的生产架构。
• 任务只需要 CPU 或轻量推理，本地电脑、普通云主机或无 GPU 环境可能够用。
• 你还没有跑通代码，直接租高端卡只会把调试成本放大。

一个实用判断是：先用便宜卡或无卡环境把代码、依赖和数据路径跑顺，再把真正消耗 GPU 的部分放到更合适的显卡上。

开始前准备

开始前准备这些东西：

如果你是复现开源项目，先读项目 README，找出 Python、PyTorch、CUDA 版本和显存建议。创建实例时优先选择匹配的镜像，不要等进了服务器再从零装 CUDA。

完整流程：租用一个 AutoDL GPU 实例

第一步：进入控制台并点击租用新实例

注册并登录 AutoDL 后，进入控制台。在“我的实例”页面点击“租用新实例”。如果你第一次使用，可以先从单卡实例开始，不要一上来租多卡。多卡真正省时间的前提是代码已经支持并行训练或你确实要同时跑多组实验。

第二步：选择计费方式

AutoDL 容器实例支持按量计费和包年包月。按量计费的核心规则是实例开机开始计费，关机结束计费，计费时长按实例开关机时间计算，而不是按是否调用 GPU 来计算。也就是说，代码停了但实例还开着，费用仍会继续产生。

简单决策：

• 调试、短实验、临时推理：优先按量计费，跑完及时关机。
• 连续多天训练或稳定占用同一张卡：再考虑包年包月。
• 还不确定依赖是否能装好：先用便宜卡或无卡/低成本模式处理环境和数据。

不要只看 GPU 单价。数据盘扩容、文件存储、网盘、镜像保存等也可能有单独规则。长期项目要把存储费用一起算进去。

第三步：选择地区、GPU 型号和 GPU 数量

AutoDL 的算力市场会展示不同地区、不同 GPU 型号、CPU、内存、硬盘和空闲情况。平台按租用 GPU 数量成比例分配 CPU 和内存，且每个实例对 GPU 是独占的。选择时看四个指标：

如果不知道选什么，先用单卡中等规格跑一次小样本。确认显存峰值、训练速度和数据读取速度后，再决定是否升级到更贵的卡。

第四步：选择镜像和硬盘

镜像决定你进入实例后有什么系统环境。AutoDL 创建实例时可以选择基础镜像或社区镜像。对新手最稳的方式是：

1. 先看项目 README 需要的 Python、PyTorch/TensorFlow、CUDA 版本。
2. 选择尽量接近的官方或社区镜像。
3. 如果项目依赖很多，先在便宜实例里测试安装流程。
4. 依赖配置稳定后，再考虑保存自定义镜像，减少下次重复配置。

硬盘也要提前看。如果需要更大的硬盘用于存放数据，要留意主机的硬盘可扩容大小。别等数据上传到一半才发现空间不够。

第五步：创建实例并等待运行中

确认计费、地区、GPU、数量、镜像和硬盘后创建实例。实例创建后等待自动开机。控制台显示“运行中”后，才进入真正可用状态，也开始按规则计费。

创建后先做三件事：

• 看清楚实例状态、计费方式和当前 GPU 型号。
• 记录 JupyterLab、SSH、更多操作等入口在哪里。
• 如果暂时不跑 GPU，只是传数据或改代码，考虑是否先关机或使用更低成本的方式处理准备工作。

第六步：打开 JupyterLab 或终端

第一次使用建议从 JupyterLab 进入。它能同时做文件管理、终端命令和 Notebook 调试。打开 JupyterLab 后，可以在终端里先检查 GPU：

nvidia-smi

如果你选择的是 PyTorch 镜像，可以继续检查 Python 环境：

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

预期结果是能看到 PyTorch 版本，并且 torch.cuda.is_available() 输出 True。如果不是 PyTorch 镜像，第二条命令可能不可用，这不一定代表 GPU 有问题，先按你选择的框架检查。

第七步：上传代码和数据

小文件可以直接通过 JupyterLab 上传。JupyterLab 上传简单，但更适合文件，不适合大文件夹。数据量稍大时，优先考虑网盘、FileZilla、XShell 或 scp。

如果使用 scp，注意命令要在本地电脑执行，而不是在实例里执行。格式可以按下面替换端口、地址和路径：

scp -rP <端口号> <本地文件或文件夹> root@<实例地址>:/root/autodl-tmp

从实例下载结果到本地时，方向反过来：

scp -rP <端口号> root@<实例地址>:/root/autodl-tmp/<结果文件夹> <本地文件夹>

如果小文件很多，直接 scp 可能很慢。可以先在本地打包成压缩包再上传，或者使用更适合批量数据传输的方式。重要数据不要只放在实例本地盘。

第八步：运行训练或推理任务

进入项目目录，先安装依赖，再用小样本跑通命令。不要第一次就跑完整训练。

cd /root/autodl-tmp/my-project
pip install -r requirements.txt
python train.py --help

如果项目没有 requirements.txt，按 README 的依赖说明安装。正式跑任务前建议先做一个短测试，例如少量数据、少量 epoch 或低分辨率输入：

python train.py --epochs 1 --batch_size 2

确认没有路径错误、依赖错误和显存爆掉后，再启动正式任务。

第九步：长任务用后台方式运行

远程连接断开会影响普通终端里的任务。长时间运行时应使用守护进程、JupyterLab 终端、screen 或 tmux，并对日志做重定向。最简单的方式是把日志写入文件：

python train.py > train.log 2>&1
tail -f train.log

也可以用 screen 或 tmux 管理长任务。比如安装并使用 screen：

apt-get update && apt-get install -y screen
screen
python train.py > train.log 2>&1

离开 screen 会话时按 Ctrl + A，再按 D。之后可以重新进入会话继续查看任务：

screen -ls
screen -r <会话ID>

第十步：保存结果、备份数据、关机

任务完成后，先确认结果已经保存到正确目录，再下载或同步到可靠位置。这里有一个关键规则：实例在数据在，开关机和包年包月到期通常不影响数据，但实例连续关机 15 天会释放，届时实例数据会被清空且无法恢复。本地数据盘没有冗余副本，重要数据要定期备份到文件存储或本地。

收尾清单：

• 导出模型权重、日志、配置文件和结果图表。
• 下载或同步重要文件。
• 记录镜像、GPU、CUDA、依赖版本和启动命令。
• 不再使用时关机，停止按量实例计费。
• 不再需要的付费数据盘、文件存储、镜像或网盘空间及时清理。

注意事项：费用、数据和实例状态

租云 GPU 最大的坑通常不是“不会创建实例”，而是费用和数据管理。

第一，按量计费看的是开关机时间。训练停了、Notebook 空着、终端没输出，只要实例还开着就可能继续计费。建议给每次实验设置结束时间，跑完马上关机。

第二，数据盘和文件存储可能单独计费。尤其是扩容数据盘，即使实例关机也可能继续按规则产生费用。做完实验后要检查是否还有不需要的扩容或存储资源。

第三，云端本地盘不能当唯一备份。论文结果、客户数据、训练好的权重和成本较高的中间产物，都要同步到本地或团队存储。

第四，镜像不是万能备份。保存镜像适合复用环境，但不应替代代码仓库、数据备份和实验记录。

小 Tips：让第一次租 GPU 更稳

• 先跑小样本，再跑完整任务。能在 2 分钟内暴露的问题，不要用 2 小时 GPU 时间去发现。
• 先确认 nvidia-smi、框架 CUDA 可用、数据路径正确，再开始正式训练。
• 不确定显存时，从小 batch size 开始，再逐步增大。
• 把命令、参数、镜像、GPU 型号和结果路径写进一个 run-notes.md，方便复现。
• 大数据集尽量用网盘、文件存储或平台推荐方式传输，少用浏览器手动传大量小文件。
• 训练时把日志写到文件，避免浏览器或 SSH 断开后丢失输出。
• 调试阶段不要过早租最贵的卡。贵卡适合跑确定能工作的任务，不适合替你排查低级路径错误。
• 涉及私有数据时，先脱敏、压缩和设置权限，再上传到云端环境。

常见问题与处理方式

什么时候进入下一步

你第一次租 GPU 的目标不是“把所有功能都学完”，而是完成一次可复现的小闭环：

1. 创建实例。
2. 进入 JupyterLab 或终端。
3. 上传代码和数据。
4. 跑通一个小样本任务。
5. 下载结果。
6. 关机并确认费用停止。

这个闭环跑通后，再考虑 VSCode 远程开发、保存镜像、挂载网盘、使用公开数据、开启后台训练、多卡训练或成本优化。对独立开发者和小团队来说，云端 GPU 的价值在于按需扩展算力，而不是把临时实例当成没有成本感的本地电脑。把任务边界、预算、数据备份和关机流程定清楚，AutoDL 这类算力平台才会真正帮你缩短实验周期。