Numpy – 保存和加载numpy数组、字典、列表数据
1 numpy保存和加载二进制数据Api 官方文档:https://numpy.org/doc/stable/reference/routines.io.html 在numpy中常用的保存和加载二进制数据主要有以下API。 1.1 numpy.save 官方文档 https://numpy.org/…
- Numpy
- 2022-07-05
深度学习 – 我的深度学习项目代码文件组织结构
1 我的深度学习项目代码文件组织结构 一般来说,深度学习项目需要包含以下内容: 数据集预处理与加载 深度学习模型定义 模型训练 模型推理 根据以上的功能描述,我的深度学习项目代码文件组织结构如下: ├─bin ├─configs ├─data_loader ├─data_preprocess ├─m…
- Pytorch
- 2022-07-02
Pytorch – 为什么要设置随机数种子?
1 Pytorch的随机种子 最近在看一些开源的Pytorch项目时,几乎每一个项目都会设置随机数种子,比如下面这种 class RandomState(object): def __init__(self, seed): torch.set_num_threads(1) torch.backend…
- Pytorch
- 2022-07-01
深度学习 – 图解Transformer,小白也能看懂的Transformer处理过程
译自:https://jinglescode.github.io/2020/05/27/illustrated-guide-transformer/ 1 前言 Transformer是encoder-decoder架构的进一步演变,其在论文Attention is All You Need中提出。虽…
- Transformer
- 2022-06-29
Pytorch – torch.nn.Conv1d参数详解与使用
1 torch.nn.Conv1d torch.nn.Conv1d主要是对一维输入Tensor应用一维卷积。 如果一维卷积输入为(N,C_{in},L),输出为(N,C_{out},L_{out}),那么这两者的关系可描述为 \operatorname{out}\left(N_{i}, C_{\te…
- Pytorch
- 2022-06-28
Pytorch – 使用torchsummary/torchsummaryX/torchinfo库打印模型结构、输出维度和参数信息
1 torchsummary/torchsummaryX torchsummary Github地址:https://github.com/sksq96/pytorch-summary torchsummaryX Github地址:https://github.com/nmhkahn/torchsu…
- Pytorch
- 2022-06-27
Pytorch – 内置的LSTM网络torch.nn.LSTM参数详解与使用示例
1 torch.nn.LSTM torch.nn.LSTM是pytorch内置的LSTM模块。 对于torch.nn.LSTM输入序列的每一个元素,都使用以下经典的LSTM计算过程: \begin{array}{c} i_{t}=\sigma\left(W_{i i} x_{t}+b_{i i}+W…
- Pytorch
- 2022-06-26
深度学习 – 理解LSTM网络[翻译]
翻译自:http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1 Recurrent Neural Networks 循环神经网络 人类并不是每秒钟都从零开始思考。当你读这篇文章时,你根据对前面单词的理解来理解每个单词。你不会把一切都扔掉…
- 深度学习
- 2022-06-25
Pytorch – 内置的CTC损失函数torch.nn.CTCLoss参数详解与使用示例
CTC(Connectionist Temporal Classification)主要是处理不定长序列对齐问题,而CTCLoss主要是计算连续未分段的时间序列与目标序列之间的损失。CTCLoss对输入与目标可能对齐的概率求和,产生一个相对于每个输入节点可微分的损失值。假设输入到目标的对应关系是“多…
- Pytorch
- 2022-06-21
深度学习 – CTC解码算法详解
原文链接:https://xiaodu.io/ctc-explained/ 原文作者:yudonglee 本文总共分为五部分来全面阐述CTC算法(本篇为Part 1): Part 1:Training the Network(训练算法篇),介绍CTC理论原理,包括问题定义、公式推导、算法过程等。Pa…
- 深度学习
- 2022-06-19
深度学习 – CTC算法原理详解
这是我看过很容易理解的讲CTC的文章,对小白很友好,实在没忍住,转载一波。 原文链接:https://xiaodu.io/ctc-explained/ 原文作者:yudonglee 现实应用中许多问题可以抽象为序列学习(sequence learning)问题,比如词性标注(POS Tagging)…
- 深度学习
- 2022-06-18
深度学习 – CNN中卷积层、池化层、全连接层的输出参数大小的计算
CNN(Convolutional Neural Networks,卷积神经网络),CNN在图像、提取空间信息中有着广泛的应用,CNN通常包含以下几种神经层: 卷积层 Convolutional layer 池化层 Pooling layer 全连接层 Fully-Connected layer 线…
- 深度学习
- 2022-06-09