TensorRT – 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:TensorRT – 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子
原文链接:https://www.stubbornhuang.com/1748/
发布于:2021年10月12日 10:35:52
修改于:2021年10月12日 10:44:46

1 TensorRT 8.2 EA版本支持爱因斯坦求和算子Einsum
NVIDIA在2021年10月6日发布的TensorRT新版本 8.2 Early Access版本终于开始支持爱因斯坦求和算子Einsum,这个消息真是为模型工业化部署的同学省了不少的时间。
TensorRT中具体可支持的Onnx算子可参考:https://github.com/onnx/onnx-tensorrt/blob/master/docs/operators.md,

但是目前Einsum也是支持大部分等式,暂不支持省略号和对角线操作。
目前我已经使用TensorRT 8.2 EA版本对einsum算子转换进行了测试,真的是可以用了!
1.1 Tensor 8.2 EA支持Einsum算子的意义
在TensorRT 8.2 Early Access发布之前,如果深度学习模型中包含Einsum操作,比如pytorch中的torch.einsum或者Tensorflow中的tf.einsum的操作,那么可以成功转换成onnx模型,但是使用TensorRT的trtexec工具将onnx模型转换成TensorRT模型时,就会出现找不到Plugin:Einsum的操作,需要我们自定义插件去支持Einsum算子,
目前在Github上也有人开源自己写的Einsum插件:https://github.com/xn1997/TensorRT-EinsumPlugin/,但是这个插件目前只支持nctkv,kvw->nctw的算子操作,其他的需要自己去实现。
还有的方式是将这种Einsum算子在python层面直接改写成Pytorch或者Tensorflow的常规算子操作,具体可参考https://www.stubbornhuang.com/1741/或者 https://stubbornhuang.blog.csdn.net/article/details/120654252。
现在NVIDIA官方开始支持Einsum算子操作,为深度学习模型的工业化部署节省了太多的时间。虽然省略号和对角线操作暂不支持,但是在深度学习模型中大部分使用的是矩阵乘积或者batch乘积的功能,影响还是比较小的。
当前分类随机文章推荐
- TensorRT - 自带工具trtexec的参数使用说明 阅读1640次,点赞0次
- TensorRT - Windows下TensorRT下载与配置 阅读828次,点赞0次
- TensorRT - Polygraphy工具的使用 阅读1519次,点赞0次
- TensorRT - 扩展TensorRT C++API的模型输入维度,增加Dims5,Dims6,Dims7,Dims8 阅读800次,点赞0次
- TensorRT - 安装TensorRT工具Polygraphy 阅读1297次,点赞0次
- TensorRT - 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法 阅读893次,点赞0次
- TensorRT - 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子 阅读774次,点赞0次
- TensorRT - 使用trtexec工具转换模型、运行模型、测试网络性能 阅读1479次,点赞0次
- TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1,TensorRT找不到ScatterND插件的问题 阅读1182次,点赞0次
全站随机文章推荐
- C++ - 使用Crypto++/CryptoPP加解密库对字符串或者文件进行AES256加密 阅读645次,点赞1次
- Centos7 - nohup方式优雅的部署jar包 阅读1983次,点赞0次
- Duilib - CDuiString转换为std::string 阅读1013次,点赞0次
- Centos7 编译C++项目错误解决 : terminate called after throwing an instance of 'std::regex_error' 阅读1674次,点赞0次
- 资源分享 - Computational Geometry - Algorithms and Applications, First Edition 英文高清PDF下载 阅读890次,点赞0次
- 资源分享 - Game Physics (First Edition) 英文高清PDF下载 阅读905次,点赞0次
- 资源分享 - OpenGL Shading Language (Third Edition) OpenGL橙宝书 英文高清PDF下载 阅读1088次,点赞0次
- 资源分享 - Fundamentals of Computer Graphics, Third Edition高清英文PDF下载 阅读2677次,点赞1次
- Duilib - 点击程序关闭按钮最小化到托盘,点击托盘按钮恢复 阅读882次,点赞0次
- 资源分享 - 计算机图形学 - 原理及实践 基础篇 原书第3版 , Computer Graphics Principles and Practice (Third Edition) 中文版PDF下载 阅读341次,点赞1次
评论
144