深度学习归档 - StubbornHuang Blog

MobileNet ShuffleNet SqueezeNet 深度学习轻量级CNN 轻量级神经网络

深度学习 – 归纳轻量级神经网络（长期更新）

SqueezeNet 论文标题：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model si…

StubbornHuang
深度学习
2023-03-17
215
0

内存容量模型训练磁盘IO速度

深度学习 – 在大数据集下，内存容量与磁盘IO速度影响模型训练速度的问题

1 模型训练时出现的问题内存容量和磁盘IO速度影响GPU利用率，进而影响模型训练速度如果要想在模型训练时利用GPU，提高GPU的利用率，不受限于IO瓶颈，一般常用的方式是：数据预加载，将所有数据…

StubbornHuang
深度学习
2023-03-16
156
0

wenet 深度学习网络设计与实现

深度学习 – 语音识别框架Wenet网络设计与实现

转载自Wenet网络设计与实现，这个文章是Wenet团队对Wenet比较全面的介绍，也在很多地方解答了我在看wenet源码时的疑惑，会时不时翻出来再看的文章，但是这个文章是托管在Github上的，所以…

StubbornHuang
深度学习
2023-01-13
397
0

Prefix Beam Search wenet 深度学习

深度学习 – 语音识别框架wenet中的CTC Prefix Beam Search算法的实现

1 Wenet中的CTC Prefix Beam Search Decode的实现下面是Wenet网络的流程图上图来自于：http://placebokkk.github.io/wenet/202…

StubbornHuang
深度学习
2023-01-13
330
0

Action Recognition 动作识别最重要的问题

深度学习 – 动作识别Action Recognition最重要的问题

1 动作识别Action Recognition最重要的问题引用一下Human Action Recognition and Prediction: A Survey中一段话，我觉得总结的比较到位。…

StubbornHuang
深度学习
2022-09-05
450
1

dynamic chunk size wenet 动态chunk大小流式与非流式统一

深度学习 – 语音识别框架中wenet最大动态chunk大小为什么取值为25？

1 原文论文在wenet的论文Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition…

StubbornHuang
深度学习
2022-09-01
936
0

原因权重初始化深度学习网络模型

深度学习 – 为什么要初始化网络模型权重？

1 为什么要进行网络模型权值初始化？ Pytorch中设计好网络结构，并搭建完成之后通常一个重要的步骤就是需要对网络模型中某些层的权值进行初始化，如下代码所示，我们搭建了一个三维卷积网络C3D，并使用…

StubbornHuang
深度学习
2022-08-26
476
0

Ablation Study AP backbone Baseline Batch Benchmark bottleneck downstream task Embedding end to end Epoch Fine tune Ground truth head IOU map neck pretext task RF ROI SOTA warm up

深度学习 – 深度学习中的术语/专有名词归纳

1 Backbone、Head、Neck 以一个图像分类的卷积神经网络为例，网络分成两部分，前部分是由卷积层、归一化层、激活层、池化层堆叠的，输入图像在经过若干层卷积、归一化层、激活层和池化层的堆叠后…

StubbornHuang
深度学习
2022-08-24
657
0

图像归一化图像标准化方法深度学习

深度学习 – 图像标准化与归一化方法

如果深度学习的源数据为图像数据时，首先需要对图像做数据预处理，最常用的图像预处理方法有两种，正常白化处理又叫图像标准化处理，另外一种方法为图像归一化处理，本文将对这两种预处理方法进行简要介绍。 1 图…

StubbornHuang
深度学习
2022-08-22
654
0

wenet 流式深度学习混合训练语音识别非流式

深度学习 – 语音识别框架wenet的非流式与流式混合训练机制

1 wenet的非流式与流式混合训练机制 wenet实现了语音识别非流式与流式混合训练的机制。通过细读源码，其主要是通过动态修改网络的Encoder层（在wenet中主要使用了TransformerE…

StubbornHuang
深度学习
2022-08-11
1,260
0

mask.py mask机制 wenet 深度学习语音识别

深度学习 – 语音识别框架wenet源码wenet/utils/mask.py中的mask机制

在阅读工业级语音识别框架wenet的源码的过程中，wenet/utils/mask.py中提供的各种mask函数非常重要，其实现了wenet论文Unified Streaming and Non-st…

StubbornHuang
深度学习
2022-08-10
869
1

Positional Encoding Transformer Transformer编码解码过程位置编码深度学习

Transformer – 理解Transformer必看系列之，2 Positional Encoding位置编码与Transformer编码解码过程

转载自：链接：https://www.ylkz.life/deeplearning/p10770524/ 作者：空字符少量行文修改 1 引言经过此系列上一篇文章Transformer - 理解T…

StubbornHuang
深度学习
2022-08-02
864
0