TensorRT – 学习和开发的相关网页备忘
1 TensorRT 学习和开发的相关网页 TensorRT主页：https://developer.nvidia.com/tensorrt TensorRT入门文档：https://docs.nvidia.com/deeplearning/tensorrt/index.html TensorRT开…
- TensorRT
- 2023-09-25
TensorRT – 使用TensorRT C++ SDK部署模型时推理时间波动不稳定或者推理速度越来越慢的问题
1 使用TensorRT C++ SDK部署模型推理时间不稳定或者推理速度越来越慢的问题 最近今天在使用TensorRT C++ SDK部署PaddleSeg的PPMattingV2-512模型，如果只是对单张图片进行推理的话，推理一张图片在8-10ms左右。如果对摄像头或者是视频文件进行推理，前面…
- TensorRT
- 2023-07-07
TensorRT – Invalid Node – TopK，This version of TensorRT only supports input K as an initializer
1 This version of TensorRT only supports input K as an initializer 今天使用TensorRT-8.5.1.7的trtexec工具转换onnx模型为trt模型时出现了以下错误: [04/27/2023-09:04:12] [E] [TR…
- TensorRT
- 2023-04-27
TensorRT – 基于TensorRT的多线程并发推理方案
1 TensorRT的多线程并发推理方案 TensorRT在对模型推理速度已经有了非常大的提升了，那如果能够基于TensorRT做并行推理，既可以有效降低推理延迟，也能增加服务吞吐量，那岂不是酷毙了？ 那么能用TensorRT做多线程并发吗？ 我们看看TensorRT的官方开发者文档怎么说： In …
- TensorRT
- 2023-03-06
TensorRT – 计算模型推理时间
1 TensorRT的性能衡量标准 使用 TensorRT 进行模型优化工作之前，必须确定应该测量什么。没有衡量标准，就不可能取得可靠的进展或衡量是否取得了成功 Latency 第一个衡量标准是从输入数据经过网络然后输出的时间，这个时间称为延迟(Latency)。在一些项目中，较低的模型推理延迟是非…
- TensorRT
- 2023-03-06
TensorRT – Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors
1 TensorRT加载模型出现警告Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause er…
- TensorRT
- 2023-03-03
TensorRT – TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4错误提示
1 TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4 使用TensorRT推理模型时，有时候会看到以下TensorRT自己打出的日志 TensorRT was linked a…
- TensorRT
- 2023-03-02
TensorRT – workspace的作用
1 TensorRT中workspace的作用 TensorRT提供了workspace作为每层网络执行时的临时存储空间，该空间时共享的，目的是为了减少显存占用。 在使用TensorRT SDK时，在构建Builder时通过调用getWorkspaceSize()来确定workspace的需求，如果…
- TensorRT
- 2022-12-21
TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
1 问题 今天使用TensorRT 8.5的trtexec工具转换具有动态维度输入的onnx模型时出现了以下的提示信息 Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve p…
- TensorRT
- 2022-12-15
TensorRT – 使用C++ SDK出现无法解析的外部符号 “class sample::Logger sample::gLogger”错误
1 使用TensorRT C++ SDK编译出现无法解析的外部符号 "class sample::Logger sample::gLogger" 错误 今天在使用TensorRT C++ SDK写模型部署代码的时候， 在代码中有这样一行代码 initLibNvInferPlugins(&sa…
- TensorRT
- 2022-12-12
TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致
1 比较onnx模型和TensorRT模型推理结果的必要性 在进行模型部署的时候，如果我们使用TensorRT对模型加速，那么一般都会采用深度学习框架>onnx模型>TensorRT模型的技术路线，在onnx模型转换到TensorRT模型的过程中有可能某些算子会丢失精度，从而影响后续的模型推理结果，…
- TensorRT
- 2022-12-12
TensorRT – onnx_graphsurgeon工具库的安装与API简介
1 onnx_grapgsurgeon 1.1 onnx_grapgsurgeon简介 onnx_grapgsurgeon是NVIDIA提供的创建和修改onnx模型的便捷易用工具库。 Github：https://github.com/NVIDIA/TensorRT/tree/master/tool…
- TensorRT
- 2022-12-05