Pytorch – 训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:Pytorch – 训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
原文链接:https://www.stubbornhuang.com/2406/
发布于:2022年11月07日 13:39:37
修改于:2022年11月07日 13:39:37
1 Pytorch训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
今天重新在一个大的数据集上重新训练一个模型时,在第二个epoch时出现了_pickle.UnpicklingError: pickle data was truncated
错误,具体的错误信息为:
从报错信息上看,主要出错的代码在从数据集中加载数据的地方
process = tqdm(loader)
for batch_idx, (data, label, index) in enumerate(process):
其中loader
为训练数据集对象,process
为tqdm包装后的对象,刚刚出现这个错误,实在是看不明白,因为在加载数据并没有使用pickle读取数据。为了排除问题,我重新在一个小的数据集上进行了测试,发现并不会出现上述问题,然后通过仔细观察系统性能指标,发现在epoch0结束之后要开始epoch1的时候内存暴涨,然后就抛出了异常,那么是不是因为数据集加载的数据量过大,导致电脑内存溢出?
我重新修改了训练集的DataLoader
对象,将其中的num_workers
参数修改为num_workers=0
并重新进行了训练,成功运行!然后做了消融实验,将num_workers
参数恢复到之前的值,减少batch_size
的值,同样是可以成功运行的!
由于目前训练机是Windows系统,看了一下Pytorch的num_workers
参数在Windows上设置成不是0值会出现比较多的问题,所以在Windows系统上还是将num_workers
参数设置为0,只依靠主进程加载数据,虽然训练速度会减慢(实际上感觉差不多),但是为了避免出现其他问题还是将num_workers
参数设置为0。
参考链接
当前分类随机文章推荐
- Pytorch - 梯度累积/梯度累加trick,在显存有限的情况下使用更大batch_size训练模型 阅读377次,点赞0次
- Pytorch - 使用torch.matmul()替换torch.einsum('nctw,cd->ndtw',(a,b))算子模式 阅读2243次,点赞1次
- Pytorch - transpose和permute函数的区别和用法 阅读1318次,点赞0次
- Pytorch - torch.optim优化器 阅读686次,点赞0次
- Pytorch - 使用Pyav解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据 阅读3921次,点赞0次
- Pytorch - RuntimeError: No rendezvous handler for env://错误 阅读1038次,点赞0次
- Pytorch - 模型微调时删除原有模型中的某一层的方法 阅读2070次,点赞0次
- Pytorch - torch.chunk参数详解与使用 阅读1117次,点赞0次
- Pytorch - pad_sequence、pack_padded_sequence、pack_sequence、pad_packed_sequence参数详解与使用 阅读957次,点赞0次
- Pytorch - torch.unsqueeze和torch.squeeze函数 阅读359次,点赞0次
全站随机文章推荐
- 资源分享 - GPU Pro 6 - Advanced Rendering Techniques 英文高清PDF下载 阅读2623次,点赞0次
- 资源分享 - ShaderX7 - Advanced Rendering Techniques 英文高清PDF下载 阅读2601次,点赞0次
- Modern OpenGL从零开始 - 多个帧缓存Framebuffer绘制到同一个铺满屏幕四边形Quad上 阅读2732次,点赞1次
- Pytorch - nn.Transformer、nn.TransformerEncoderLayer、nn.TransformerEncoder、nn.TransformerDecoder、nn.TransformerDecoder参数详解 阅读2716次,点赞1次
- C++/OpenCV - 详解如何一步步将OpenCV的cv::Mat转换成深度学习模型推理所需的输入数据 阅读190次,点赞0次
- Duilib - 点击程序关闭按钮最小化到托盘,点击托盘按钮恢复 阅读1726次,点赞0次
- WordPress - robots.txt 阅读2615次,点赞0次
- 深度学习 - 语音识别框架中wenet最大动态chunk大小为什么取值为25? 阅读921次,点赞0次
- 资源分享 - The Art of Fluid Animation 英文高清PDF下载 阅读2071次,点赞0次
- Pip - 常用命令(安装,卸载,升级第三方库) 阅读3249次,点赞1次
评论
169