更多可见计算机视觉-Paper&Code - 知乎

众所周知，深度学习是个黑盒，每次training都像在抽奖，但是对于模型落地，以及作为工程师来说，不可复现=没有意义。那么对于Pytorch如何能够尽可能的保证模型训练结果能够复现呢。本文收集整理了可能导致模型难以复现的原因，虽然不可能完全避免随机因素，但是可以通过一些设置尽可能降低模型的随机性

训练层面

Pytorch官方有提及到复现的问题Reproducibility - PyTorch 1.11.0 documentation

Pytorch不保证跨不同PyTorch 版本或不同平台的下的模型可以完全复现结果。并且即使使用相同的随机数种子，CPU 和 GPU 执行之间的结果也可能无法复现。但是，我们可以在相同设备和版本下，通过配置 PyTorch 以避免使用带有随机性的算法，即使去掉这些随机操作会模型运行非常慢

随机种子设置

import torch
torch.manual_seed(0)

GPU训练

当使用一组新的参数调用 cudnn卷积算子时，cudnn会去所有操作路径中找到最快的一个。因此由于benchmark噪音下，即使是在同一台机器上在后续运行中cudnn会选择不同的算法路径。

import torch
import numpy as np
import random

seed=0

random.seed(seed)
np.random.seed(seed)
if torch.cuda.is_available():
    torch.cuda.manual_seed_all(seed)

torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

# Remove randomness (may be slower on Tesla GPUs) 
# https://pytorch.org/docs/stable/notes/randomness.html
if seed == 0:
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

参数设置

类似的Batchsize都必须保证相同，Batch Size决定了要学习多少次样本后，进行一次反向传播。dropout 可能也会、多 GPU 并行训练都会带来随机性。

数据层面

DataLoader

DataLoader 多进程加载数据中中按照随机性重新设置随机种子。使用worker_init_fn()和生成器来保证可复现

def seed_worker(worker_id):
    worker_seed = torch.initial_seed() % 2**32
    numpy.random.seed(worker_seed)
    random.seed(worker_seed)

g = torch.Generator()
g.manual_seed(0)

DataLoader(
    train_dataset,
    batch_size=batch_size,
    num_workers=num_workers,
    worker_init_fn=seed_worker,
    generator=g,
)

数据增强

对于在线增强中，经常会以一定的概率进行随机增强，这样会导致每次运行得到的训练样本可能是不一致的，这也就造成了模型的不可复现。

多线/进程计算

可以通过在 PyTorch 中设置 DataLoader 中的 num_worker 参数为 0，或者直接不使用 GPU，指定使用 CPU 可以避免程序使用多线程。因为任何并行操作都可能会引入问题，因为并行操作中求和等操作会将导致 FP16 / 32 的精度损失，从而执行的顺序和线程数将对结果产生影响。

总的来说，采用以上操作后，除了一些pytorch底层计算一定会带来随机性的操作外，基本能够保证前10个epoch模型训练是能够复现了。