手把手教你将Notebook转脚本任务

目前社区里现在比较缺少如何使用脚本任务完成模型训练的内容，很多同学在复现赛中从Notebook转成脚本任务也遇到过很多的问题，包括我们团队之前在做论文复现时也遇到了很多问题，但是解决之后也有很多的心得。因此，这篇文章主要整理了我们是怎么将Notebook转成脚本任务的。

脚本任务支持两种运行方式：

1. shell 脚本： 在 run.sh 中编写项目运行时所需的命令，并在启动命令框中填写 bash run.sh <参数1> <参数2>使脚本任务正常运行。
2. python 指令：在 run.py 编写运行所需的代码，并在启动命令框中填写 python run.py <参数1> <参数2> 使脚本任务正常运行。

本教程以python指令的运行方式为主，手把手带大家将Notebook里的单卡训练代码转写成脚本任务的多卡训练代码。

一、脚本任务单卡仿真

在转脚本任务时，先不要着急往脚本任务里加多卡运行的代码。一定要先保证代码能在单卡的基础上稳定运行后，再加上多卡的训练代码。

这里可以参考开发者北漂包包的脚本任务仿真环境快速测试你的代码。

在确认代码正确无误后，就可以正式地将你的代码从Notebook迁移到脚本任务上了

二、依赖库的安装

在脚本任务中，官方已经在环境里预装了很多依赖库（已安装的依赖库可查看官方文档），但是难免会遇到一些我们需要，但是环境里没有的依赖库，这是我们就需要在代码运行前把这些依赖库安装好。

安装方法也很简单，我们可以用Python自带的os.system调用shell命令：

# 放在主程序run.py的开头，即先装依赖库再"炼丹"
import os
os.system("pip install -r requirements.txt")

三、数据集准备

脚本任务中加载的数据集往往是未解压的压缩包，因此在使用之前一般都需要先解压。这时我们也可以用上面的os.system来处理，把文件解压到指定的目录下，需要用到-d参数：

os.system("unzip -d /root/paddlejob/workspace/train_data/datasets/ /root/paddlejob/workspace/train_data/datasets/data2021/dataset.zip")

上面这句指令的意思是将dataset.zip这个未解压的数据集解压到脚本文件的数据集文件目录/root/paddlejob/workspace/train_data/datasets/

四、多卡代码改写

AI Studio的脚本任务支持了单机四卡和分布式训练（双机四卡），两者消耗的算力是一样的，都是四卡，执行速度应该不会相差太多，因此这里主要以单机四卡为例进行改写。

1.数据并行

相关api文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DistributedBatchSampler_cn.html#distributedbatchsampler

多卡并行任务需要将数据分到各个卡上，因此需要改写DataLoader，使用分布式批采样器加载数据的子集，比如4卡就是把数据分为4个子集，然后把这4个子集分别送入这个4块卡，从而提高“炼丹”速度，首先导入分布式批采样器：

from paddle.io import DistributedBatchSampler

然后在加载DataLoader之前先用DistributedBatchSampler将数据集划分为多个子集，具体使用方法可参考如下代码：

from paddle.vision import datasets
from paddle.io import DistributedBatchSampler, DataLoader

trainset = datasets.Cifar100(mode="train", download=True)
train_sampler = DistributedBatchSampler(trainset, batch_size=8, drop_last=False)
train_loader = DataLoader(trainset, num_workers=4, batch_sampler=train_sampler)

2.模型参数并行

相关api：

• DataParallel：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/DataParallel_cn.html#dataparallel
• init_parallel_env：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/init_parallel_env_cn.html#init-parallel-env
• spawn：https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/02_paddle2.0_develop/06_device_cn.html#spawn

这部分其实很好改，只需要添加4行代码：

# 1.导入并行任务所必须依赖库
import paddle
import paddle.distributed as dist

def main():
    # 2.初始化并行环境
    dist.init_parallel_env()

    # 3.并行模型及优化器参数
    model = paddle.nn.Linear(1, 10)
    dp_model = paddle.DataParallel(model)
    adam = paddle.optimizer.Adam(learning_rate=0.001, parameters=dp_model.parameters())

if __name__ == '__main__':
    # 4.启动多进程任务
__':
    # 4.启动多进程任务
    dist.spawn(main())

3.模型参数保存

相关api：get_rank：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/get_rank_cn.html#get-rank

在保存模型参数时，为了不重复保存，这里设置只有当前进程rank的值等于环境变量PADDLE_TRAINER_ID的值时保存模型参数：

model_to_save = model.state_dict()
model_checkpoint = os.path.join(output_dir, "%s_checkpoint.pdparams" %model_name)
if paddle.distributed.get_rank() == 0:
    paddle.save(model_to_save, model_checkpoint)

五、总结与升华

1. 多卡训练需要把数据分到多个卡上进行训练，否则其实就是每个卡都训练一遍全量数据。从检查的角度来看，如果发现多卡训练并没有比单卡训练块很多时，应该检查数据是否已经并行。

2. 从单卡到多卡训练时，设置的batchsize不能加，PaddlePaddle里的batchsize是每个卡的batchsize；而Pytorch里的batchsize是所有卡加起来的batchsize。

作者简介

北京联合大学 机器人学院 自动化专业 2018级 本科生 郑博培

中国科学院自动化研究所复杂系统管理与控制国家重点实验室实习生

百度飞桨开发者技术专家 PPDE

百度飞桨北京领航团团长

百度飞桨官方帮帮团、答疑团成员

深圳柴火创客空间 认证会员

百度大脑 智能对话训练师

阿里云人工智能、DevOps助理工程师

我在AI Studio上获得至尊等级，点亮10个徽章，来互关呀！！！

https://aistudio.baidu.com/aistudio/personalcenter/thirdview/147378