TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致
1 比较onnx模型和TensorRT模型推理结果的必要性
在进行模型部署的时候,如果我们使用TensorRT对模型加速,那么一般都会采用深度学习框架>onnx模型>TensorRT模型的技术路线,在onnx模型转换到TensorRT模型的过程中有可能某些算子会丢失精度,从而影响后续的模型推理结果,特别是对模型精度要求较高的问题(比如多分类问题),所以这个时候就需要有一个工具来比较onnx源模型与TensorRT模型的推理结果是否一致。
2 使用TensorRT的Polygraphy工具和onnx库比较推理结果
Polygraphy的Github仓库:https://github.com/NVIDIA/TensorRT/tree/main/tools/Polygraphy
在Polygraphy的Github仓库文档中为我们提供了一个比较二者结果的Python示例代码,
from polygraphy.backend.onnxrt import OnnxrtRunner, SessionFromOnnx
from polygraphy.backend.trt import TrtRunner, EngineFromNetwork, NetworkFromOnnxPath
from polygraphy.comparator import Comparator, DataLoader
model_path = "/path/to/model.onnx"
build_onnxrt_session = SessionFromOnnx(model_path)
build_engine = EngineFromNetwork(NetworkFromOnnxPath(model_path))
runners = [
OnnxrtRunner(build_onnxrt_session),
TrtRunner(build_engine),
]
data_loader = DataLoader(val_range=(0, 2))
run_results = Comparator.run(runners, data_loader=data_loader)
assert bool(Comparator.compare_accuracy(run_results))
主要的步骤如下:
- 加载onnx模型
- 从onnx模型中构建TensorRT模型
- 将输入值限制在[0,2]的范围内
- 分别使用onnx-runtime和TensorRT进行推理
- 比较二者的推理结果是否一致
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致
原文链接:https://www.stubbornhuang.com/2447/
发布于:2022年12月12日 9:49:11
修改于:2023年06月21日 17:43:49
当前分类随机文章推荐
- TensorRT - Polygraphy工具的使用 阅读5754次,点赞0次
- TensorRT - 学习和开发的相关网页备忘 阅读39次,点赞0次
- TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1,TensorRT找不到ScatterND插件的问题 阅读5195次,点赞0次
- TensorRT - 基于TensorRT的多线程并发推理方案 阅读821次,点赞2次
- TensorRT - 使用TensorRT C++ SDK部署模型时推理时间波动不稳定或者推理速度越来越慢的问题 阅读278次,点赞0次
- TensorRT - 使用C++ SDK出现无法解析的外部符号 "class sample::Logger sample::gLogger"错误 阅读688次,点赞0次
- TensorRT - onnx_graphsurgeon工具库的安装与API简介 阅读1956次,点赞0次
- TensorRT - 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法 阅读3499次,点赞3次
- TensorRT - Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors 阅读595次,点赞0次
- TensorRT - 计算模型推理时间 阅读554次,点赞1次
全站随机文章推荐
- 资源分享 - OpenGL编程指南(原书第7版)- OpenGL红宝书高清扫描版PDF下载 阅读5450次,点赞1次
- 资源分享 - Ray Tracing - The Next Week英文高清PDF下载 阅读2965次,点赞0次
- Python - itertools.groupby使用详解 阅读1554次,点赞1次
- 资源分享 - Real-Time 3D Graphics with WebGL 2 , Second Edition英文高清PDF下载 阅读1492次,点赞0次
- 资源分享 - PHP与MySQL程序设计(第3版) 中文 PDF下载 阅读2414次,点赞0次
- 资源分享 - The History of Visual Magic in Computers - How Beautiful Images are Made in CAD, 3D, VR and AR 英文高清PDF下载 阅读1833次,点赞0次
- 资源分享 - Computational Geometry in C, Second Edition 英文高清PDF下载 阅读3624次,点赞1次
- Pytorch - torch.stack参数详解与使用 阅读1188次,点赞0次
- 资源分享 - Hands-On C++ Game Animation Programming 英文PDF下载 阅读1216次,点赞0次
- C++ - 判断本机文件是否存在的方式总结 阅读6251次,点赞0次
评论
169