TensorRT – workspace的作用
1 TensorRT中workspace的作用
TensorRT提供了workspace作为每层网络执行时的临时存储空间，该空间时共享的，目的是为了减少显存占用。
- 在使用TensorRT SDK时，在构建Builder时通过调用
getWorkspaceSize()来确定workspace的需求，如果在该函数中设置了workspace，则会在创建和执行Context时分配该workspace，然后在runtime时提供给enqueue、enqueueV2、enqueueV3等方法使用，并在销毁时回收。 - 在使用trtexec工具转换模型时，也需要指定workspace的大小
使用TensorRT分配的workspace的好处在于不同的网络层之间进行共享以减少显存开销。
参考链接
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：TensorRT – workspace的作用
原文链接：https://www.stubbornhuang.com/2460/
发布于：2022年12月21日 14:06:20
修改于：2023年06月21日 17:20:24
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
文章末尾
评论
57