Pytorch – 模型微调时删除原有模型中的某一层的方法
本文以去除Pytorch预置的ResNet18网络中最后一层全连接分类层为例,说明模型微调时如何去除模型中某一层的方法。 我们想要在模型中去掉某一层实际上就等效于在该层不进行任何操作,直接将上一层的值直接返回即可,下面提供了3种方法进行选择。 1 使用自定义nn.Module替换指定层 在本方法中,…
- Pytorch
- 2022-08-08
Pytorch – 用Pytorch实现ResNet
1 引言 在深度学习中,通过简单的堆叠网络层增加网络深度的方式并不能增加网络的性能,另外,深度网络在训练时容易引起“梯度消失”的问题(即梯度反向传播到上层,重复的乘法可能会使梯度变得非常小)。 ResNet提出了残差学习来解决退化问题。对于一个堆积层结构(几层堆积而成)。对于一个堆积层结构(几层堆积…
- Pytorch
- 2022-08-06
Pytorch – masked_fill方法参数详解与使用
1 torch.Tensor.masked_fill参数详解与使用 1.1 torch.Tensor.masked_fill参数详解 1. 函数形式 torch.Tensor.masked_fill(mask, value) 2. 函数功能 输入的mask需要与当前的基础Tensor的形状一致。 将…
- Pytorch
- 2022-08-05
Pytorch – 手动调整学习率以及使用torch.optim.lr_scheduler调整学习率
1 Pytorch中学习率的调整方法 在Pytorch中调整训练过程中的学习率可以有两种方式: 一种是利用torch.optim.lr_scheduler提供的学习调整的方法 另一种是手动调整学习率,即调整优化器参数组中的lr参数 1.1 手动调整学习率 手动调整学习率的代码如下,我们在函数adju…
- Pytorch
- 2022-08-04
Pytorch – torch.optim优化器
深度学习的目标是通过不断改变网络参数,使得参数能够对输入做各种非线性变换拟合输出,本质上就是一个函数去寻找最优解,只不过这个最优解是一个矩阵,而如何快速求得这个最优解是深度学习研究的一个重点,以经典的resnet-50为例,它大约有2000万个系数需要进行计算,那么我们如何计算出这么多系数,有以下两…
- Pytorch
- 2022-08-03
Transformer – 理解Transformer必看系列之,2 Positional Encoding位置编码与Transformer编码解码过程
转载自: 链接:https://www.ylkz.life/deeplearning/p10770524/ 作者:空字符 少量行文修改 1 引言 经过此系列上一篇文章Transformer - 理解Transformer必看系列之,1 Self-Attention自注意力机制与多头注意力原理的介绍,…
- Transformer
- 2022-08-02
深度学习 – NLP自然语言处理与语音识别中常用的标识符等的含义
1 NlP自然语言处理与语音识别中常用的标识符的含义 在NLP进行文本处理以及语音识别处理语音对应标签时我们经常会看到一些特殊的标识符,一些常见的标识符及其含义如下 <blank>/<BLANK>:表示空白符号; <unk>/<UNK>:低频词或未在词…
- 深度学习
- 2022-08-01
Transformer – 理解Transformer必看系列之,1 Self-Attention自注意力机制与多头注意力原理
转载自: 链接:https://www.ylkz.life/deeplearning/p10553832/ 作者:空字符 修改文章少量行文 1 引言 今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文,名字叫做Attention is all you need,当然,网上已经有了大量的关于这…
- Transformer
- 2022-08-01
深度学习 – 以一个极简单的中英文翻译Demo彻底理解Transformer
转载自: 原文链接:https://zhuanlan.zhihu.com/p/360343417 作者:Algernon 少量行文修改。 Transformer并没有特别复杂,但是理解Transformer对于初学者不是件容易的事,原因因在于Transformer的解读往往没有配套的简单的demo,…
- Transformer
- 2022-07-29
Pytorch – torch.stack参数详解与使用
1 torch.stack参数详解与使用 1.1 torch.stack 1.函数形式 torch.stack(tensors, dim=0, *, out=None) → Tensor 2.函数功能 沿指定维度连接Tensor序列,所有的Tensor必须是同样大小 3.函数参数 tensors:T…
- Pytorch
- 2022-07-27
Pytorch – torch.cat参数详解与使用
1 torch.cat参数详解与使用 1.1 torch.cat 1.函数形式 torch.cat(tensors, dim=0, *, out=None) → Tensor 2.函数功能 在指定的维度串联指定Tensor序列,所有Tensor都必须具有相同的形状(连接维度除外),或者Tensor为…
- Pytorch
- 2022-07-25
Pytorch – torch.chunk参数详解与使用
1 torch.chunk参数详解与使用 1.1 torch.chunk 1.函数形式 torch.chunk(input, chunks, dim=0) → List of Tensors 2.函数功能 将输入Tensor拆分为特定数量的块。 如果给定维度dim上的Tensor大小不能够被整除,则…
- Pytorch
- 2022-07-22