OnnxRuntime – 从内存数据中加载onnx模型进行推理
1 从内存中加载onnx模型的必要性
使用OnnxRuntime部署onnx模型时,目前常用的的做法是直接从本地加载onnx模型文件。这种方式在做模型快速部署和测试时操作简单,节省部署时间。但是如果在一个商业项目中使用这种方式部署模型,其他人都可以很轻松的拿到你网络的onnx模型,低阶一点的就是直接复用你的onnx模型,拿到他的项目中使用,高阶的就是分析的onnx算子和模型结构,从而猜出你所使用的模型和关键结构,便于在他们的项目中复现。
无论哪一种方式,这都是在商业项目中公司不愿意看到的,所以好的办法是需要对onnx模型进行加密,加密后的onnx模型文件是不能使用Netron打开的,也无法观察模型的输入与输出、模型算子和结构。在应用时就需要先读取加密后的onnx模型文件,先进行解密,然后在通过从内存中读取onnx模型数据,将onnx模型成功的加载到应用中进行推理。本文将简单介绍如何使用OnnxRuntime从内存中加载onnx模型。
2 OnnxRuntime从内存中加载onnx模型文件
先介绍下OnnxRuntime如何读取本地onnx模型文件加载模型,看以下代码
#include <iostream>
#include "onnxruntime_cxx_api.h"
#include "cpu_provider_factory.h"
int main()
{
Ort::Env ort_env;
Ort::Session ort_session = Ort::Session(nullptr);
std::wstring onnx_model_path = L"resnet18.onnx";
ort_env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "load_model_test");
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(3);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
session_options.SetLogSeverityLevel(4);
OrtSessionOptionsAppendExecutionProvider_CPU(session_options, 0);
ort_session = Ort::Session(ort_env, onnx_model_path.c_str(), session_options);
if (ort_session != nullptr)
{
std::cout << "模型加载成功" << std::endl;
}
else
{
std::cout << "模型加载失败" << std::endl;
}
return 0;
}
上述代码中加载模型的关键代码是
ort_session = Ort::Session(ort_env, onnx_model_path.c_str(), session_options);
(1)资源收集自互联网,仅供自我学习,请在下载后24小时内删除该资源,如下载者将此资源用于其他非法用途,本站不承担任何法律责任;如有侵权,请立即联系我,马上删除!
(2)下载单个资源则点击立即下载或者立即购买按钮;本站VIP可下载本站所有资源。
(3)请不要使用手机以及电脑浏览器的无痕模式进行支付操作,以免造成支付成功但未显示下载链接。
(4)如遇支付问题或者资源失效问题请点击按钮点击反馈进行反馈或者发送说明邮件到stubbornhuang@qq.com
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:OnnxRuntime – 从内存数据中加载onnx模型进行推理
原文链接:https://www.stubbornhuang.com/2866/
发布于:2023年10月25日 9:31:01
修改于:2023年10月25日 16:22:44
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论
51