OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
1 OnnxRuntime如何部署多个输入和多个输出的模型
1.1 OnnxRuntime仓库问题答疑
这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题,这个问题的链接在这里。
在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码文件:test_inference.cc,其中关于多个输入和多个输入的模型推理关键代码片段如下
std::vector<Ort::Value> ort_inputs;
ort_inputs.push_back(std::move(label_input_tensor));
ort_inputs.push_back(std::move(f2_input_tensor));
ort_inputs.push_back(std::move(f11_input_tensor));
std::vector<const char*> input_names = {"Label", "F2", "F1"};
const char* const output_names[] = {"Label0", "F20", "F11"};
std::vector<Ort::Value> ort_outputs = session.Run(
Ort::RunOptions{nullptr},
input_names.data(),
ort_inputs.data(),
ort_inputs.size(),
output_names,
countof(output_names)
);
1.2 细看OnnxRuntime的文档
Ort::Session::Run
这个函数是模型推理的关键函数,我们可以通过查看OnnxRuntime的文档,看看这个函数的形式和参数。
Ort::Session::Run
有几个函数重载形式,比如
std::vector<Value> Run (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, size_t output_count)
-
void Run (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, Value *output_values, size_t output_count)
void Run (const RunOptions &run_options, const IoBinding &)
另外还有一个RunAsync
用于异步推理
RunAsync (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, Value *output_values, size_t output_count, RunAsyncCallbackFn callback, void *user_data)
1.2.1 std::vector Run重载函数
本文就以第一个重载函数std::vector<Value> Run
为例介绍一下函数各个输入参数:
函数形式
std::vector<Value> Run (
const RunOptions &run_options,
const char *const *input_names,
const Value *input_values,
size_t input_count,
const char *const *output_names,
size_t output_count
)
函数返回值
返回模型推理结果,存储在std::vector
中。
函数参数
- run_options
- input_names:长度为 input_count 的以 null 结尾的字符串数组,即输入名称列表
- input_values:长度为 input_count 的Ort::Value的数组,即输入值列表
- input_count:输入tensor数量,即input_names和input_values的大小
- output_names:长度为 output_count 的C风格字符串数组,即输出名称列表
- output_count:输出tensor数量,即output_names的大小
从上述输入参数我们可以得出,其实input_values是一个const Ort::Value*
类型,既可以是一个指向Ort::Value
的指针,也可以是指向一段Ort::Value
类型的连续存储的首地址,比如Ort::Value
数组或者std::vector<Ort::Value>
,所以多个输入tensor,只需要将模型的多个输入构成Ort::Value
,然后放到一个数组或者std::vector
中即可。如果是数组直接传数组指针,如果是std::vector
可以通过.data()
获取首地址进行传参。
同理对于多个输出,如果模型推理成果,则多个输出tensor则全部存储返回的std::vector<Ort::Value>
中,按模型输出名称顺序就可以得到每个输出tensor的值了。
参考链接
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
原文链接:https://www.stubbornhuang.com/2766/
发布于:2023年08月24日 10:49:03
修改于:2023年08月24日 13:41:29
当前分类随机文章推荐
- OnnxRuntime - 如何部署多个输入和多个输出tensor的onnx模型 阅读158次,点赞0次
- OnnxRuntime – 模型部署笔记3,总结OnnxRuntime模型推理流程 阅读765次,点赞0次
- OnnxRuntime - C++捕获OnnxRuntime中的异常 阅读79次,点赞0次
- OnnxRuntime - 模型部署笔记1,OnnxRuntime简介 阅读875次,点赞0次
- OnnxRuntime – 模型部署笔记2,在Visual Studio中配置Onnx Rumtime C++开发环境 阅读684次,点赞0次
- OnnxRuntime - Linux配置OnnxRuntime开发环境 阅读75次,点赞0次
全站随机文章推荐
- C++ - 将一维数组/二维数组/三维数组作为函数参数传递给函数 阅读2252次,点赞0次
- 资源分享 - 物理渲染-从理论到实践 第2版,Physically Based Rendering From Theory To Implementation(Second Edition) 中文版PDF下载 阅读2773次,点赞0次
- 资源分享 - 深度学习 花书 AI圣经(Deep Learning) 中文PDF下载 阅读5989次,点赞2次
- 资源分享 - Video Game Optimization 英文高清PDF下载 阅读1648次,点赞0次
- 资源分享 - 3D游戏引擎设计 - 实时计算机图形学的应用方法 第2版 , 3D Game Engine Design - A Practical Approach to Real-Time Computer Graphics (Second Edition) 中文版PDF下载 阅读1452次,点赞0次
- 解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度 阅读4397次,点赞0次
- TensortRT - 转换模型出现Could not locate zlibwapi.dll. Please make sure it is in your library path!错误 阅读1181次,点赞0次
- 资源分享 - Calculus for Computer Graphics , Second Edition 英文高清PDF下载 阅读1472次,点赞0次
- 资源分享 - An Introduction to Ray Tracing 英文高清PDF下载 阅读1363次,点赞0次
- Python - 使用scikit-video库获取视频的旋转角度并使用opencv_python根据旋转角度对视频进行旋转复原 阅读3924次,点赞2次
评论
169