1 Pytorch训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误

今天重新在一个大的数据集上重新训练一个模型时，在第二个epoch时出现了_pickle.UnpicklingError: pickle data was truncated错误，具体的错误信息为：

从报错信息上看，主要出错的代码在从数据集中加载数据的地方

process = tqdm(loader)
for batch_idx, (data, label, index) in enumerate(process):

其中loader为训练数据集对象，process为tqdm包装后的对象，刚刚出现这个错误，实在是看不明白，因为在加载数据并没有使用pickle读取数据。为了排除问题，我重新在一个小的数据集上进行了测试，发现并不会出现上述问题，然后通过仔细观察系统性能指标，发现在epoch0结束之后要开始epoch1的时候内存暴涨，然后就抛出了异常，那么是不是因为数据集加载的数据量过大，导致电脑内存溢出？

我重新修改了训练集的DataLoader对象，将其中的num_workers参数修改为num_workers=0并重新进行了训练，成功运行！然后做了消融实验，将num_workers参数恢复到之前的值，减少batch_size的值，同样是可以成功运行的！

由于目前训练机是Windows系统，看了一下Pytorch的num_workers参数在Windows上设置成不是0值会出现比较多的问题，所以在Windows系统上还是将num_workers参数设置为0，只依靠主进程加载数据，虽然训练速度会减慢（实际上感觉差不多），但是为了避免出现其他问题还是将num_workers参数设置为0。

参考链接