TensorRT – 计算模型推理时间
1 TensorRT的性能衡量标准 使用 TensorRT 进行模型优化工作之前,必须确定应该测量什么。没有衡量标准,就不可能取得可靠的进展或衡量是否取得了成功 Latency 第一个衡量标准是从输入数据经过网络然后输出的时间,这个时间称为延迟(Latency)。在一些项目中,较低的模型推理延迟是非…
- TensorRT
- 2023-03-06
TensorRT – Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors
1 TensorRT加载模型出现警告Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause er…
- TensorRT
- 2023-03-03
TensorRT – TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4错误提示
1 TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4 使用TensorRT推理模型时,有时候会看到以下TensorRT自己打出的日志 TensorRT was linked a…
- TensorRT
- 2023-03-02
深度学习 – 语音识别框架Wenet网络设计与实现
转载自Wenet网络设计与实现,这个文章是Wenet团队对Wenet比较全面的介绍,也在很多地方解答了我在看wenet源码时的疑惑,会时不时翻出来再看的文章,但是这个文章是托管在Github上的,所以为了防止某些不可控的原因导致无法阅读原文,所以在本站对原文进行完整备份,仅用于个人阅读,如果原作者认…
- 深度学习
- 2023-01-13
深度学习 – 语音识别框架wenet中的CTC Prefix Beam Search算法的实现
1 Wenet中的CTC Prefix Beam Search Decode的实现 下面是Wenet网络的流程图 上图来自于:http://placebokkk.github.io/wenet/2021/06/04/asr-wenet-nn-1.html 语音特征数据在经过Encoder后会使用CT…
- 深度学习
- 2023-01-13
Pytorch – 使用pytorch自带的Resnet作为网络的backbone
在使用Pytorch搭建自己的神经网络框架时,经常需要使用Pytorch中内置的torchvision.models中的模型作为特征提取的Backbone,然后再在这个基础上进行更加复杂的网络搭建。 在这里以使用Pytorch中内置的Resnet18为例,如何作为Backbone层进行使用,看以下示…
- Pytorch
- 2023-01-06
TensorRT – workspace的作用
1 TensorRT中workspace的作用 TensorRT提供了workspace作为每层网络执行时的临时存储空间,该空间时共享的,目的是为了减少显存占用。 在使用TensorRT SDK时,在构建Builder时通过调用getWorkspaceSize()来确定workspace的需求,如果…
- TensorRT
- 2022-12-21
Pytorch – torch.topk参数详解与使用
1 torch.topk 形式 torch.topk(input, k, dim=None, largest=True, sorted=True, *, out=None) 或者 Tensor.topk(k, dim=None, largest=True, sorted=True) 功能 返回输入张…
- Pytorch
- 2022-12-15
TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
1 问题 今天使用TensorRT 8.5的trtexec工具转换具有动态维度输入的onnx模型时出现了以下的提示信息 Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve p…
- TensorRT
- 2022-12-15
TensorRT – 使用C++ SDK出现无法解析的外部符号 “class sample::Logger sample::gLogger”错误
1 使用TensorRT C++ SDK编译出现无法解析的外部符号 "class sample::Logger sample::gLogger" 错误 今天在使用TensorRT C++ SDK写模型部署代码的时候, 在代码中有这样一行代码 initLibNvInferPlugins(&sa…
- TensorRT
- 2022-12-12
TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致
1 比较onnx模型和TensorRT模型推理结果的必要性 在进行模型部署的时候,如果我们使用TensorRT对模型加速,那么一般都会采用深度学习框架>onnx模型>TensorRT模型的技术路线,在onnx模型转换到TensorRT模型的过程中有可能某些算子会丢失精度,从而影响后续的模型推理结果,…
- TensorRT
- 2022-12-12
Pytorch – 梯度累积/梯度累加trick,在显存有限的情况下使用更大batch_size训练模型
1 batch size对模型训练的影响 小的batch size引入的数据集的数据量较小,随机性越大,在部分情况下模型难以收敛,影响模型训练效率。 而在合理的范围内,越大的batch size本质上是对训练数据更优的一种选择,能够是梯度下降的方向更加准确,震荡越小,有利于收敛的稳定性。 但是如果b…
- Pytorch
- 2022-12-09