TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
原文链接:https://www.stubbornhuang.com/2453/
发布于:2022年12月15日 14:05:59
修改于:2022年12月15日 14:05:59
1 问题
今天使用TensorRT 8.5的trtexec工具转换具有动态维度输入的onnx模型时出现了以下的提示信息
Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
意思 使用预览特征kFASTER_DYNAMIC_SHAPES_0805
可以提供性能和处理潜在的函数问题,之前我的转换命令行如下
trtexec --onnx=example.onnx --saveEngine=example.trt --workspace=102400 --minShapes=video:1x10x512 --optShapes=video:1x232x512 --maxShapes=video:1x500x512
那么我们如果要使用kFASTER_DYNAMIC_SHAPES_0805
,我们可以使用--preview
命令行参数标志预览特征,那么修改之后的命令行如下
trtexec --onnx=example.onnx --saveEngine=example.trt --workspace=102400 --minShapes=video:1x10x512 --optShapes=video:1x232x512 --maxShapes=video:1x500x512 --preview=+fasterDynamicShapes0805
使用这个命令,在转换动态维度输入的onnx模型时就不会再出现上述警告了。
当前分类随机文章推荐
- TensorRT - Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues 阅读525次,点赞0次
- TensorRT - onnx_graphsurgeon工具库的安装与API简介 阅读779次,点赞0次
- TensorRT - Windows下TensorRT下载与配置 阅读1714次,点赞0次
- TensorRT - Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors 阅读229次,点赞0次
- TensorRT - 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致 阅读451次,点赞1次
- TensorRT - 计算模型推理时间 阅读221次,点赞1次
- TensorRT - 自带工具trtexec的参数使用说明 阅读4466次,点赞0次
- TensorRT - 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法 阅读2856次,点赞1次
- TensorRT - 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子 阅读1671次,点赞0次
- TensorRT - 安装TensorRT工具Polygraphy 阅读4188次,点赞0次
全站随机文章推荐
- Python - ModuleNotFoundError: No module named 'skimage' 阅读322次,点赞0次
- 资源分享 - Physics Modeling for Game Programmers 英文高清PDF下载 阅读1655次,点赞0次
- C++ - 导出接口函数和导出C++类 阅读369次,点赞0次
- Python - glob模块详解以及glob.glob、glob.iglob函数的使用 阅读1074次,点赞0次
- 工具网站推荐 - 生成Pronhub/Youtube图标风格的图标生成在线网站 阅读3644次,点赞0次
- 资源分享 - Game Physics (Second Edition) 英文高清PDF下载 阅读2118次,点赞1次
- FFmpeg - PTS、DTS、时间基、时间戳详解 阅读449次,点赞0次
- C++11 - 基于无锁队列的单生产者单消费者模型 阅读5963次,点赞1次
- Blender - 为模型贴透明贴图 阅读557次,点赞0次
- Visual Studio - 将程序的日志输出到Visual Studio即时窗口 阅读4977次,点赞1次
评论
169