华为云ModelArts深度学习实战：从训练到部署的踩坑笔记

1. 从零上手华为云 ModelArts：一个深度学习从业者的踩坑实录

搞深度学习这行的朋友都清楚，模型训练和部署这两件事，说起来简单，真动手的时候坑是一个接一个。尤其是当你手头没有本地 GPU 集群，或者本地显卡跑不动大模型的时候，找一个靠谱的云端平台就成了刚需。华为云 ModelArts 就是我在这个背景下深度使用过的一个平台，从最初的小白式摸索，到后来能比较顺畅地完成从数据准备、模型训练到在线部署的全流程，中间积累了不少经验，也踩了不少坑。

这篇文章不是官方文档的复述，而是我自己在实际项目中使用 ModelArts 完成模型训练与部署的完整学习笔记。我会从平台的核心概念讲起，把训练环境配置、数据集管理、训练作业提交、模型调优、部署上线这几个关键环节拆开揉碎地讲清楚。无论你是刚接触云端模型训练的新手，还是已经用过其他平台想迁移过来的老手，应该都能从里面找到有用的东西。特别是那些卡在“训练报 NaN”“部署后推理超时”“免费额度怎么用”这些具体问题上的朋友，我会把排查思路和解决方案都写出来。

先说说为什么选 ModelArts。市面上的云端 AI 平台不少，但 ModelArts 有几个点比较打动我：一是它和华为云的存储、网络、监控体系打通得比较好，数据从 OBS 桶到训练环境基本是无缝的；二是它提供了从 Notebook 交互式开发到训练作业批量提交再到模型部署的完整链路，不需要在多个平台之间来回倒腾；三是有免费的计算资源额度可以薅，对个人学习和小规模实验来说很友好。当然它也有不够顺手的地方，后面我会具体说。

2. 核心概念与整体设计思路拆解

2.1 ModelArts 到底解决了什么问题

一句话概括：ModelArts 把深度学习项目里那些繁琐的工程化环节——环境搭建、数据管理、训练调度、模型部署——打包成了云服务。你不需要自己买显卡、装驱动、配 CUDA、搭推理服务，只需要关注你的数据和模型代码本身。

这个定位对两类人特别有价值。第一类是学生和个人开发者，手头没有像样的 GPU 机器，本地跑个 ResNet 都费劲，更别说 RoBERTa 这种中文预训练模型了。第二类是企业里做 AI 应用但不想在基础设施上投入太多精力的团队，他们更关心模型效果和上线速度，而不是运维。

从架构上看，ModelArts 的核心模块可以分成这么几块：

• 开发环境（Notebook）：交互式的 Jupyter 环境，适合做数据探索、模型调试、小规模实验。你可以选不同的镜像，有 PyTorch、TensorFlow、MindSpore 等主流框架的预置环境。
• 数据管理：和对象存储服务（OBS）深度集成，数据集上传到 OBS 桶之后，在 ModelArts 里可以直接引用。也支持数据集版本管理，这对复现实验很重要。
• 训练作业：把训练脚本提交到云端，平台负责调度计算资源。支持单机单卡、单机多卡、多机多卡等不同规格。可以指定预置框架镜像，也可以用自己的自定义镜像。
• 模型管理：训练产出的模型可以注册到模型仓库，做版本管理，方便后续部署和更新。
• 部署上线：把模型部署成在线推理服务，提供 API 接口。支持实时推理、批量推理等不同模式。

2.2 为什么选择“Notebook 调试 + 训练作业提交”这条路线

在实际操作中，我摸索出来一条比较顺的路线：先在 Notebook 里用小批量数据把代码跑通，确认没有语法错误和逻辑问题，然后再把脚本整理成训练作业提交到云端跑全量数据。这个路线的好处是调试成本低——Notebook 里改一行代码就能重新跑，而训练作业每次提交都要等资源调度，调试效率差很多。

另一个关键决策是数据存放位置。我的做法是原始数据统一放在 OBS 桶里，Notebook 和训练作业都通过挂载或者拷贝的方式读取。这样做的好处是数据只有一份，不会出现“Notebook 里改了一份、训练作业用的是另一份”这种版本混乱的问题。OBS 的存储成本也比云硬盘低不少，适合放大量训练数据。

还有一个容易被忽略的点是镜像选择。ModelArts 提供了很多预置镜像，但不同镜像里的框架版本、CUDA 版本、Python 依赖都不一样。我的建议是：先确定你的代码需要什么版本的 PyTorch 或 TensorFlow，然后去找对应的预置镜像。如果预置镜像满足不了，再考虑自定义镜像。自定义镜像虽然灵活，但构建和上传的过程比较耗时，非必要不折腾。

2.3 资源规格的选择逻辑

ModelArts 提供了多种计算规格，从 CPU 到不同型号的 GPU 都有。怎么选？我的经验是这样的：

• 数据探索和代码调试阶段：用 CPU 规格就够了，便宜甚至免费。这个阶段不需要跑完整训练，只是验证代码逻辑。
• 小规模实验：用单卡 GPU，比如 NVIDIA T4 或 V100。T4 性价比高，适合中小模型；V100 适合稍大一些的模型。
• 大规模训练：用多卡规格，比如 8 卡 V100 或 A100。但要注意，多卡训练需要你的代码支持分布式，否则加了卡也跑不起来。

这里有个坑要提醒：不是所有预置镜像都支持所有规格。有些镜像只适配特定型号的 GPU，选错了会启动失败。提交训练作业之前，一定要看清楚镜像说明里写的适配规格。

3. 核心细节解析与实操要点

3.1 数据准备：从本地到 OBS 的正确姿势

数据是训练的起点，这一步没做好后面全是坑。我的标准流程是这样的：

第一步，在本地把数据整理成规范的目录结构。以图像分类任务为例，通常是这样：

dataset/ ├── train/ │ ├── class_1/ │ │ ├── img_001.jpg │ │ └── ... │ └── class_2/ │ └── ... ├── val/ │ ├── class_1/ │ └── class_2/ └── test/ └── ...

这个结构不是随便定的，而是因为大多数框架的数据加载器（比如 PyTorch 的 ImageFolder）都默认按这个格式读取。你如果自己写 Dataset 类当然可以随意，但用标准结构能省很多事。

第二步，把数据上传到 OBS 桶。上传方式有几种：网页控制台上传、OBS Browser+ 客户端上传、命令行工具 obsutil 上传。数据量小的时候用网页或客户端都行，数据量大的时候强烈建议用 obsutil，支持断点续传和批量操作。

# obsutil 上传示例 obsutil cp -r -f ./dataset obs://your-bucket/datasets/

这里有个细节：OBS 桶的区域要和 ModelArts 的区域一致，否则跨区域读取数据会产生额外费用，速度也慢。我一开始没注意这个，把数据传到了华东的桶，结果在华北的 ModelArts 里读，慢得让人抓狂。

第三步，在 ModelArts 里创建数据集。如果你用的是预置框架的标准格式，可以直接创建“图像分类”类型的数据集，平台会自动解析目录结构。如果是自定义格式，就创建“其他”类型，然后在代码里自己处理。

注意：OBS 里的数据路径在训练代码中是通过环境变量或者参数传入的，不要硬编码。ModelArts 会把 OBS 路径挂载到容器的 /cache 目录下，但具体路径取决于你的配置，硬编码必翻车。

3.2 训练脚本的编写规范

训练脚本要能在 ModelArts 上跑起来，需要遵循一些约定。这些约定不是平台强制的，但遵循了能省很多事。

首先是参数解析。ModelArts 训练作业会通过命令行参数或者环境变量传递一些信息，比如数据路径、模型输出路径、超参数等。建议用 argparse 统一处理：

import argparse import os parser = argparse.ArgumentParser() parser.add_argument('--data_url', type=str, default='./data') parser.add_argument('--train_url', type=str, default='./output') parser.add_argument('--epochs', type=int, default=10) parser.add_argument('--batch_size', type=int, default=32) parser.add_argument('--lr', type=float, default=0.001) args = parser.parse_args() # 数据路径处理 data_path = args.data_url # 输出路径处理 output_path = args.train_url os.makedirs(output_path, exist_ok=True)

其次是模型保存。训练过程中要定期保存 checkpoint，防止训练中断导致前功尽弃。保存路径要用参数传入的 train_url，这样训练结束后模型会自动同步到 OBS。

# 保存模型示例 torch.save(model.state_dict(), os.path.join(output_path, 'model.pth'))

还有一个容易忽略的点是日志输出。ModelArts 会收集标准输出和标准错误，在训练作业详情页可以看到。建议在关键节点打印日志，比如每个 epoch 的 loss 和 accuracy，方便排查问题。

print(f'Epoch {epoch}, Loss: {loss.item():.4f}, Acc: {acc:.4f}', flush=True)

flush=True这个参数很重要，不加的话日志可能会被缓冲，导致你在控制台看不到实时输出。

3.3 预训练模型的使用技巧

热词里提到了 ResNet 预训练模型和 RoBERTa 中文预训练模型，这两个都是很常用的。在 ModelArts 上用预训练模型，有几个点要注意。

ResNet 系列在 torchvision 里直接就有，但 ModelArts 的训练环境不一定能访问外网下载权重。解决办法是提前把权重文件下载好，上传到 OBS，然后在代码里从本地加载：

import torchvision.models as models import torch # 从本地加载预训练权重 model = models.resnet50(pretrained=False) state_dict = torch.load('/cache/pretrained/resnet50.pth') model.load_state_dict(state_dict)

RoBERTa 中文预训练模型也是类似，从 Hugging Face 下载后上传到 OBS。如果模型比较大，上传时间会比较长，建议用 obsutil 的断点续传功能。

实操心得：预训练模型的权重文件通常比较大（ResNet50 约 100MB，RoBERTa base 约 400MB），上传到 OBS 之后，在训练作业里读取的速度取决于 OBS 和计算节点的网络。如果训练频繁，可以考虑把权重文件放到和计算节点同区域的 OBS 桶里，速度会快很多。

3.4 训练作业的配置要点

提交训练作业的时候，有几个配置项需要仔细填：

• 算法来源：选“预置框架”还是“自定义镜像”。预置框架适合标准场景，自定义镜像适合有特殊依赖的场景。
• 代码目录：指向 OBS 里存放训练脚本的目录。注意这个目录会被拷贝到容器的 /home/work/user-job-dir 下。
• 启动文件：指定入口脚本，比如 train.py。
• 数据来源：可以配置多个数据源，分别挂载到不同路径。
• 训练输出位置：指定模型和日志的输出路径，通常是 OBS 里的一个目录。
• 计算规格：选择 GPU 型号和数量。
• 超参数：可以在这里配置命令行参数，会以 --key=value 的形式传给启动脚本。

这里有个坑：代码目录和数据来源的路径不要搞混。代码目录是放 .py 文件的，数据来源是放数据集的。我见过有人把数据集放在代码目录里，结果每次训练都要重新拷贝一遍数据，浪费大量时间。

4. 完整实操流程与关键环节实现

4.1 环境准备与 Notebook 调试

第一步，登录华为云控制台，进入 ModelArts 服务。如果你是第一次用，需要先开通服务，然后创建一个 Notebook 实例。

创建 Notebook 的时候，有几个配置项：

• 名称：随便起，但建议有意义，比如 “resnet50-experiment”。
• 自动停止：建议开启，设置 1 小时无操作自动停止，避免忘记关闭导致一直计费。
• 镜像：选择 PyTorch 或 TensorFlow 的预置镜像，版本根据你的代码需求选。
• 资源规格：调试阶段选 CPU 就行，需要 GPU 的时候再切换。
• 存储配置：可以挂载 OBS 桶，也可以使用云硬盘。建议挂载 OBS，方便数据共享。

创建完成后，点击“打开”进入 JupyterLab 界面。在这里你可以创建 Notebook、上传文件、打开终端。

我的调试流程是这样的：

1. 在 Notebook 里写一个简化版的训练脚本，用少量数据跑通。
2. 确认数据加载、模型定义、训练循环、模型保存这几个环节都没有问题。
3. 把脚本整理成正式的 train.py，准备提交训练作业。

# 简化版训练脚本示例 import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms, models # 数据预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 加载数据 train_dataset = datasets.ImageFolder('./data/train', transform=transform) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) # 定义模型 model = models.resnet50(pretrained=True) num_features = model.fc.in_features model.fc = nn.Linear(num_features, len(train_dataset.classes)) model = model.cuda() # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练循环 for epoch in range(5): model.train() running_loss = 0.0 for i, (inputs, labels) in enumerate(train_loader): inputs, labels = inputs.cuda(), labels.cuda() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 10 == 0: print(f'Epoch {epoch}, Step {i}, Loss: {loss.item():.4f}', flush=True) print(f'Epoch {epoch} finished, Avg Loss: {running_loss/len(train_loader):.4f}', flush=True)

这个脚本在 Notebook 里跑通之后，就可以整理成正式的训练脚本了。

4.2 提交训练作业的完整步骤

在 ModelArts 控制台左侧菜单选择“训练管理”->“训练作业”，点击“创建训练作业”。

基本信息：填写作业名称和描述。

参数配置：

• 算法来源：选择“预置框架”，然后选 PyTorch 和对应的版本。
• 代码目录：选择 OBS 里存放 train.py 的目录。
• 启动文件：填写 train.py。
• 数据来源：添加你的数据集路径，可以配置多个。
• 训练输出位置：选择一个 OBS 目录。
• 计算规格：选择 GPU 规格，比如 “GPU: 1*V100”。
• 超参数：添加 epochs、batch_size、lr 等参数。

确认提交：检查配置无误后提交。作业会进入“排队中”状态，等资源调度完成后变成“运行中”。

训练过程中可以在作业详情页查看日志，包括标准输出和标准错误。如果训练失败，日志里通常会有错误信息，根据错误信息排查。

注意：训练作业的运行时间会计费，训练完成后记得检查作业是否自动停止。有些配置下作业不会自动停止，需要手动停止。

4.3 模型部署上线的完整流程

训练完成后，模型文件会保存在你指定的 OBS 输出目录里。接下来就是部署。

第一步，把模型注册到模型仓库。在“模型管理”->“模型”页面，点击“导入”，选择从 OBS 导入，指定模型文件的路径。需要填写模型的输入输出格式，比如输入是 [1, 3, 224, 224] 的 float32 张量，输出是 [1, num_classes] 的 float32 张量。

第二步，创建在线服务。在“部署上线”->“在线服务”页面，点击“部署”，选择刚才注册的模型，配置计算规格（通常比训练规格小就行），设置自动扩缩容策略。

第三步，等待服务部署完成。部署完成后会得到一个 API 端点，可以通过 HTTPS 请求调用。

# 调用在线服务的示例 import requests import json import base64 # 读取图片并编码 with open('test.jpg', 'rb') as f: img_data = base64.b64encode(f.read()).decode() # 构造请求 url = 'https://your-service-endpoint/v1/infers/xxx' headers = {'Content-Type': 'application/json'} data = json.dumps({'images': [img_data]}) # 发送请求 response = requests.post(url, headers=headers, data=data) result = response.json() print(result)

部署过程中常见的坑是推理超时。默认的超时时间可能比较短，如果你的模型推理比较慢，需要调整超时配置。另外，如果模型文件比较大，服务启动时间会比较长，耐心等待。

4.4 免费额度与成本控制

ModelArts 对新用户有一些免费额度，比如一定时长的免费 GPU 训练和免费 Notebook 使用。但这些额度通常有有效期，过期就没了。

控制成本的几个技巧：

• Notebook 不用的时候及时停止，不要让它一直跑着。
• 训练作业设置合理的超时时间，避免异常情况下一直运行。
• 模型部署后如果不用，及时删除在线服务。
• 数据存储在 OBS 里是有成本的，定期清理不需要的数据。

实操心得：我一般会在 Notebook 里做实验，确认没问题后再提交训练作业。训练作业跑完立刻检查结果，不需要的作业及时删除。在线服务也是，测试完就删，需要的时候再部署。这样下来，一个月的成本可以控制在很低的水平。

5. 常见问题与排查技巧实录

5.1 训练报 NaN 的排查思路

训练报 NaN 是深度学习里最常见的问题之一，在 ModelArts 上也不例外。排查思路是这样的：

第一步，检查学习率。学习率过大是最常见的原因。可以尝试降低学习率，比如从 0.001 降到 0.0001。

第二步，检查数据。数据里如果有 NaN 或者异常值，也会导致 loss 变成 NaN。可以在数据加载的时候加一个检查：

# 检查数据中的 NaN if torch.isnan(inputs).any(): print('Input contains NaN!') continue

第三步，检查损失函数。某些损失函数在特定输入下会返回 NaN，比如 CrossEntropyLoss 在输入全为 0 的时候。可以尝试换一个损失函数，或者加一个小的 epsilon。

第四步，检查梯度。梯度爆炸也会导致 NaN。可以加梯度裁剪：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

第五步，检查混合精度训练。如果用了 AMP（自动混合精度），某些操作在 FP16 下会溢出。可以尝试关闭 AMP，或者调整 loss scale。

5.2 部署后推理失败的常见原因

模型部署成功但推理失败，通常有这几个原因：

5.3 数据读取慢的优化方法

如果训练时数据读取成为瓶颈，可以尝试这些方法：

• 使用 OBS 的并行文件系统：ModelArts 支持挂载 OBS 的并行文件系统，读取速度比普通 OBS 快很多。
• 数据预处理：把数据预处理成框架友好的格式，比如 TFRecord 或 LMDB，减少训练时的 IO 开销。
• 增加 DataLoader 的 num_workers：在 PyTorch 里，增加 num_workers 可以并行加载数据。

train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True)

• 使用缓存：如果数据集不大，可以一次性加载到内存里。

5.4 独家避坑技巧汇总

最后分享几个我在使用 ModelArts 过程中总结的避坑技巧：

技巧一：善用 Notebook 的终端。Notebook 里不只有 Jupyter，还有终端。可以用终端安装依赖、查看文件、运行脚本，比在 Notebook 里操作方便。

技巧二：训练脚本加异常捕获。训练过程中如果出现异常，最好能捕获并打印详细信息，方便排查。

try: # 训练代码 pass except Exception as e: print(f'Training failed: {e}', flush=True) raise

技巧三：模型输出目录不要写死。用参数传入，这样在 Notebook 和训练作业里都能用。

技巧四：定期清理 OBS。OBS 里的数据会一直保存，时间长了成本不低。定期清理不需要的 checkpoint 和日志。

技巧五：关注区域选择。OBS 桶和 ModelArts 实例尽量在同一个区域，减少网络延迟和跨区域费用。

技巧六：用 ModelArts 的 SDK。如果经常用，可以装 ModelArts 的 Python SDK，用代码管理训练作业和模型部署，比在控制台点来点去效率高。

# ModelArts SDK 示例 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(modelarts_session=session, framework_type='PyTorch', framework_version='1.8', code_dir='obs://your-bucket/code/', boot_file='train.py', output_path='obs://your-bucket/output/', train_instance_type='GPU: 1*V100', train_instance_count=1, hyperparameters={'epochs': 10, 'batch_size': 32}) estimator.fit('obs://your-bucket/datasets/')

这个 SDK 用熟了之后，整个训练和部署流程都可以脚本化，效率提升很明显。

5.5 关于 EasyOCR 和 MeloTTS 的补充

热词里提到了 EasyOCR 训练自己的模型和 MeloTTS 中文模型训练，这两个场景在 ModelArts 上也是可以跑的。EasyOCR 的训练需要准备标注数据，格式要求比较严格，建议先在本地用小批量数据跑通再上云。MeloTTS 是语音合成模型，训练时对显存要求比较高，建议用 V100 或更好的 GPU。这两个模型的训练脚本都可以按照前面说的流程来：先在 Notebook 里调试，再提交训练作业。

5.6 关于 GPUStack 和本地部署的对比

热词里还提到了 GPUStack 部署模型和本地部署 AI 模型。简单说一下我的看法：本地部署的优势是数据不出本地、没有网络延迟、长期成本可能更低；劣势是需要自己维护硬件和软件环境，扩展性差。ModelArts 这类云平台的优势是弹性伸缩、免运维、按需付费；劣势是数据要上传到云端、长期使用成本可能更高。怎么选取决于你的具体需求。如果是学习和小规模实验，ModelArts 的免费额度很香；如果是生产环境且数据敏感，本地部署可能更合适。

5.7 关于免费 GPU 训练模型的建议

免费 GPU 训练模型是很多人的刚需。ModelArts 对新用户有免费额度，但用完之后就要付费了。如果想长期白嫖，可以关注一些其他的免费 GPU 平台，比如 Kaggle Notebooks、Google Colab 等。但这些平台通常有使用时长限制，不适合长时间训练。我的建议是：把免费额度用在刀刃上，先在本地或免费平台上把代码调试好，再用 ModelArts 的免费额度跑正式训练。

5.8 关于华为 ICT 大赛云赛道的准备

如果你是在准备华为 ICT 大赛的云赛道，ModelArts 是必考内容。我的建议是：把本文提到的流程完整走一遍，从数据上传到模型部署，每个环节都动手操作。比赛的时候通常会给定一个场景，要求你在规定时间内完成模型训练和部署。熟悉 ModelArts 的操作能帮你节省大量时间。另外，比赛时要注意时间管理，不要在一个环节卡太久，先把整体流程跑通再优化细节。

6. 个人实操体会与后续扩展方向

回过头来看，ModelArts 这个平台的学习曲线其实不算陡峭，但细节比较多。我最初用的时候，光是搞清楚 OBS 路径怎么配、训练作业怎么提交就花了不少时间。后来用熟了之后，整个流程可以在半小时内走完。关键是要理解它的设计逻辑：数据在 OBS，计算在训练作业，模型在模型仓库，服务在在线服务。每个模块各司其职，通过路径和配置串联起来。

如果后续要继续深入，我建议从这几个方向扩展：一是学习 ModelArts 的自动超参搜索功能，可以自动找最优的超参数组合；二是研究模型压缩和量化，减小模型体积，提升推理速度；三是尝试多机多卡训练，处理更大规模的数据和模型。这些都是在掌握基础流程之后自然要进阶的方向。

最后再分享一个小技巧：ModelArts 的控制台操作虽然直观，但效率不高。如果你需要频繁地提交训练作业和部署模型，强烈建议花点时间学一下 ModelArts 的 Python SDK。把常用操作封装成脚本之后，一键提交训练、一键部署，效率提升不是一点半点。我现在基本上除了查看日志和监控，其他操作都用 SDK 完成了。