在使用Pytorch搭建自己的神经网络框架时,经常需要使用Pytorch中内置的torchvision.models中的模型作为特征提取的Backbone,然后再在这个基础上进行更加复杂的网络搭建。 …
1 torch.topk 形式 torch.topk(input, k, dim=None, largest=True, sorted=True, *, out=None) 或者 Tensor.top…
1 batch size对模型训练的影响 小的batch size引入的数据集的数据量较小,随机性越大,在部分情况下模型难以收敛,影响模型训练效率。 而在合理的范围内,越大的batch size本质上…
1 torch.reshape 形式 torch.reshape(input, shape) 功能 返回一个与输入张量数据和元素数相同的,但是形状为shape的张量。 参数 input:需要被重新定义…
1 torch.cat函数 形式 torch.cat(tensors, dim=0, *, out=None) 功能 在指定的维度连接给定序列的张量,所有张量必须具有相同的形状(连接维度除外)或者为空…
Pytorch中,unsqueeze和squeeze为两个对应的反操作函数,其中,unsqueeze主要用于为输入张量升维,squeeze主要用于给张量降维,两者的具体用法可以参考下文。 1 unsq…
本文对Pytorch中创建随机数Tensor的一些常用方法进行总结,主要包括 randn randn_like rand rand_like randint randint_like 1 torch.…
1 torch.nn.Conv2d torch.nn.Conv2d主要对输入Tensor应用2D卷积。 比如输入(N,C_{in},H,W)维度的Tensor,则输出(N,C_{out},H,W)的T…
1 Pytorch训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误 今天重新在一个大的数据集上重新训练一个模型时,在第二个epoc…
1 torch.nn.Module的named_parameters()和parameters() Pytorch的torch.nn.Module有两个比较相似的属性函数named_parameter…
在pytorch中使用torch.nn.parallel.DistributedDataParallel进行分布式训练时,需要使用torch.distributed.init_process_grou…
1 RuntimeError: No rendezvous handler for env:// 今天在Windows上使用torch.nn.parallel.DistributedDataParal…

关注我们的公众号

微信公众号