支付宝扫一扫
微信扫一扫TensorRT – workspace的作用
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：TensorRT – workspace的作用
原文链接：https://www.stubbornhuang.com/2460/
发布于：2022年12月21日 14:06:20
修改于：2022年12月21日 14:06:20
1 TensorRT中workspace的作用
TensorRT提供了workspace作为每层网络执行时的临时存储空间，该空间时共享的，目的是为了减少显存占用。
- 在使用TensorRT SDK时，在构建Builder时通过调用
getWorkspaceSize()来确定workspace的需求，如果在该函数中设置了workspace，则会在创建和执行Context时分配该workspace，然后在runtime时提供给enqueue、enqueueV2、enqueueV3等方法使用，并在销毁时回收。 - 在使用trtexec工具转换模型时，也需要指定workspace的大小
使用TensorRT分配的workspace的好处在于不同的网络层之间进行共享以减少显存开销。
参考链接
End
当前分类随机文章推荐
- TensorRT - 自带工具trtexec的参数使用说明 阅读3762次，点赞0次
- TensorRT - 喜大普奔，TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子 阅读1410次，点赞0次
- TensortRT - 转换模型出现Could not locate zlibwapi.dll. Please make sure it is in your library path!错误 阅读309次，点赞0次
- TensorRT - Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues 阅读148次，点赞0次
- TensorRT - 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致 阅读121次，点赞0次
- TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1,TensorRT找不到ScatterND插件的问题 阅读2824次，点赞0次
- TensorRT - workspace的作用 阅读158次，点赞0次
- TensorRT - 扩展TensorRT C++API的模型输入维度，增加Dims5,Dims6,Dims7,Dims8 阅读1515次，点赞0次
- TensorRT - Polygraphy工具的使用 阅读3827次，点赞0次
- TensorRT - 安装TensorRT工具Polygraphy 阅读3408次，点赞0次
全站随机文章推荐
- C++ - 求解std::vector
中topk数值以及topk数值对应的索引 阅读1947次，点赞0次 - 工具推荐 - 一些好用的DNS服务器 阅读653次，点赞0次
- Windows - 虚拟按键Virtual-Key Codes大全 阅读3180次，点赞0次
- C++ - Windows获取电脑上摄像头设备数目、名字以及id 阅读99次，点赞0次
- 宝塔面板添加Python项目，定时执行Python程序 阅读577次，点赞0次
- 资源分享 - 深度学习框架Pytorch入门与实践（陈云著）PDF下载 阅读2879次，点赞1次
- Transformer - 理解Transformer必看系列之，2 Positional Encoding位置编码与Transformer编码解码过程 阅读544次，点赞0次
- Modern OpenGL从零开始 - 多个帧缓存Framebuffer绘制到同一个铺满屏幕四边形Quad上 阅读2503次，点赞1次
- WordPress - 修复Markdown编辑器插件WP-Editor.md在插入php代码块后代码中的$符号无法正常显示的问题 阅读1016次，点赞0次
- 资源分享 - GPU Pro 6 - Advanced Rendering Techniques 英文高清PDF下载 阅读2280次，点赞0次
评论
164