本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:TensorRT – workspace的作用
原文链接:https://www.stubbornhuang.com/2460/
发布于:2022年12月21日 14:06:20
修改于:2022年12月21日 14:06:20

1 TensorRT中workspace的作用
TensorRT提供了workspace作为每层网络执行时的临时存储空间,该空间时共享的,目的是为了减少显存占用。
- 在使用TensorRT SDK时,在构建Builder时通过调用
getWorkspaceSize()
来确定workspace的需求,如果在该函数中设置了workspace,则会在创建和执行Context
时分配该workspace,然后在runtime时提供给enqueue
、enqueueV2
、enqueueV3
等方法使用,并在销毁时回收。 - 在使用trtexec工具转换模型时,也需要指定workspace的大小
使用TensorRT分配的workspace的好处在于不同的网络层之间进行共享以减少显存开销。
参考链接
当前分类随机文章推荐
- TensorRT - 自带工具trtexec的参数使用说明 阅读3762次,点赞0次
- TensorRT - 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子 阅读1410次,点赞0次
- TensortRT - 转换模型出现Could not locate zlibwapi.dll. Please make sure it is in your library path!错误 阅读309次,点赞0次
- TensorRT - Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues 阅读148次,点赞0次
- TensorRT - 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致 阅读121次,点赞0次
- TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1,TensorRT找不到ScatterND插件的问题 阅读2824次,点赞0次
- TensorRT - workspace的作用 阅读158次,点赞0次
- TensorRT - 扩展TensorRT C++API的模型输入维度,增加Dims5,Dims6,Dims7,Dims8 阅读1515次,点赞0次
- TensorRT - Polygraphy工具的使用 阅读3827次,点赞0次
- TensorRT - 安装TensorRT工具Polygraphy 阅读3408次,点赞0次
全站随机文章推荐
- C++ - 求解std::vector
中topk数值以及topk数值对应的索引 阅读1947次,点赞0次 - 工具推荐 - 一些好用的DNS服务器 阅读653次,点赞0次
- Windows - 虚拟按键Virtual-Key Codes大全 阅读3180次,点赞0次
- C++ - Windows获取电脑上摄像头设备数目、名字以及id 阅读99次,点赞0次
- 宝塔面板添加Python项目,定时执行Python程序 阅读577次,点赞0次
- 资源分享 - 深度学习框架Pytorch入门与实践(陈云著)PDF下载 阅读2879次,点赞1次
- Transformer - 理解Transformer必看系列之,2 Positional Encoding位置编码与Transformer编码解码过程 阅读544次,点赞0次
- Modern OpenGL从零开始 - 多个帧缓存Framebuffer绘制到同一个铺满屏幕四边形Quad上 阅读2503次,点赞1次
- WordPress - 修复Markdown编辑器插件WP-Editor.md在插入php代码块后代码中的$符号无法正常显示的问题 阅读1016次,点赞0次
- 资源分享 - GPU Pro 6 - Advanced Rendering Techniques 英文高清PDF下载 阅读2280次,点赞0次
评论
164