TensorRT 归档 - StubbornHuang Blog

TensorRT workspace

TensorRT – workspace的作用

1 TensorRT中workspace的作用 TensorRT提供了workspace作为每层网络执行时的临时存储空间，该空间时共享的，目的是为了减少显存占用。在使用TensorRT SDK时，在…

StubbornHuang
TensorRT
2022-12-21
157
0

TensorRT

TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues

1 问题今天使用TensorRT 8.5的trtexec工具转换具有动态维度输入的onnx模型时出现了以下的提示信息 Using PreviewFeaturekFASTER_DYNAMIC_SHAP…

StubbornHuang
TensorRT
2022-12-15
148
0

class sample::Logger sample::gLogger TensorRT

TensorRT – 使用C++ SDK出现无法解析的外部符号 “class sample::Logger sample::gLogger”错误

1 使用TensorRT C++ SDK编译出现无法解析的外部符号 "class sample::Logger sample::gLogger" 错误今天在使用TensorRT C++ SDK写模型…

StubbornHuang
TensorRT
2022-12-12
106
0

ONNX Polygraphy TensorRT 结果比较

TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致

1 比较onnx模型和TensorRT模型推理结果的必要性在进行模型部署的时候，如果我们使用TensorRT对模型加速，那么一般都会采用深度学习框架>onnx模型>TensorRT模型的技术路线，在…

StubbornHuang
TensorRT
2022-12-12
121
0

API简介 onnx_graphsurgeon 安装

TensorRT – onnx_graphsurgeon工具库的安装与API简介

1 onnx_grapgsurgeon 1.1 onnx_grapgsurgeon简介 onnx_grapgsurgeon是NVIDIA提供的创建和修改onnx模型的便捷易用工具库。 Github：h…

StubbornHuang
TensorRT
2022-12-05
285
0

requires bool or uint8 I/O but node can not be handled by Myelin TensorRT

TensorRT – 转换onnx模型出现Slice_74 requires bool or uint8 I/O but node can not be handled by Myelin错误

1 Error Code 2: Internal Error (Slice_74 requires bool or uint8 I/O but node can not be handled by M…

StubbornHuang
TensorRT
2022-12-02
172
0

Could not locate zlibwapi.dll TensorRT

TensortRT – 转换模型出现Could not locate zlibwapi.dll. Please make sure it is in your library path!错误

1 TensortRT转换模型出现Could not locate zlibwapi.dll. Please make sure it is in your library path!错误 1.1 问…

StubbornHuang
TensorRT
2022-12-01
309
0

Dims5 Dims6 Dims7 Dims8 TensorRT 输入维度扩展

TensorRT – 扩展TensorRT C++API的模型输入维度，增加Dims5,Dims6,Dims7,Dims8

1 TensorRT C++ API支持的模型输入维度在TensorRT 7.0及以上版本，我们通常使用以下语句指定输入维度： const std::string input_name = "inp…

StubbornHuang
TensorRT
2021-10-19
1,515
0

Einsum TensorRT TensorRT8.2 EA

TensorRT – 喜大普奔，TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子

1 TensorRT 8.2 EA版本支持爱因斯坦求和算子Einsum NVIDIA在2021年10月6日发布的TensorRT新版本 8.2 Early Access版本终于开始支持爱因斯坦求和算子…

StubbornHuang
TensorRT
2021-10-12
1,410
0

TensorRT torch.einsum 替换

TensorRT – 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法

1 问题：TensorRT暂时未实现einsum算子在ST-GCN中使用了爱因斯坦求和算子torch.einsum， def forward(self, x, A): assert A.size(0…

StubbornHuang
TensorRT
2021-10-08
2,408
1

TensorRT Windows 下载配置

TensorRT – Windows下TensorRT下载与配置

1 TensorRT下载官方网站下载地址：https://developer.nvidia.com/zh-cn/tensorrt?term=TensorRT 选择合适的TensorRT版本下载，这里…

StubbornHuang
TensorRT
2021-10-05
1,453
0

Polygraphy TensorRT 使用

TensorRT – Polygraphy工具的使用

1 切换python虚拟环境在Anaconda中激活安装了Polygraphy包以及其依赖项的python环境，以下所有的操作都需要在此虚拟环境中操作，Polygraphy的安装可参考：https:…

StubbornHuang
TensorRT
2021-10-05
3,827
0