1 torch.nn.Module的named_parameters()和parameters() Pytorch的torch.nn.Module有两个比较相似的属性函数named_parameter…
在pytorch中使用torch.nn.parallel.DistributedDataParallel进行分布式训练时,需要使用torch.distributed.init_process_grou…
1 RuntimeError: No rendezvous handler for env:// 今天在Windows上使用torch.nn.parallel.DistributedDataParal…
1 显存爆炸的问题 最近使用以下示例代码测试自定义深度学习网络时耗光了所有显存,出现了梯度爆炸的问题。 model.eval() for batch_idx, data in enumerate(tq…
1 torch.nn.DataParallel和torch.nn.parallel.DistributedDataParallel函数详解 1.1 torch.nn.DataParallel 1. 官…
本文以去除Pytorch预置的ResNet18网络中最后一层全连接分类层为例,说明模型微调时如何去除模型中某一层的方法。 我们想要在模型中去掉某一层实际上就等效于在该层不进行任何操作,直接将上一层的值…
1 引言 在深度学习中,通过简单的堆叠网络层增加网络深度的方式并不能增加网络的性能,另外,深度网络在训练时容易引起“梯度消失”的问题(即梯度反向传播到上层,重复的乘法可能会使梯度变得非常小)。 Res…
1 torch.Tensor.masked_fill参数详解与使用 1.1 torch.Tensor.masked_fill参数详解 1. 函数形式 torch.Tensor.masked_fill(…
1 Pytorch中学习率的调整方法 在Pytorch中调整训练过程中的学习率可以有两种方式: 一种是利用torch.optim.lr_scheduler提供的学习调整的方法 另一种是手动调整学习率,…
深度学习的目标是通过不断改变网络参数,使得参数能够对输入做各种非线性变换拟合输出,本质上就是一个函数去寻找最优解,只不过这个最优解是一个矩阵,而如何快速求得这个最优解是深度学习研究的一个重点,以经典的…
1 torch.stack参数详解与使用 1.1 torch.stack 1.函数形式 torch.stack(tensors, dim=0, *, out=None) → Tensor 2.函数功能…
1 torch.cat参数详解与使用 1.1 torch.cat 1.函数形式 torch.cat(tensors, dim=0, *, out=None) → Tensor 2.函数功能 在指定的维…

关注我们的公众号

微信公众号