OnnxRuntime – 从内存数据中加载onnx模型进行推理

1 从内存中加载onnx模型的必要性

使用OnnxRuntime部署onnx模型时，目前常用的的做法是直接从本地加载onnx模型文件。这种方式在做模型快速部署和测试时操作简单，节省部署时间。但是如果在一个商业项目中使用这种方式部署模型，其他人都可以很轻松的拿到你网络的onnx模型，低阶一点的就是直接复用你的onnx模型，拿到他的项目中使用，高阶的就是分析的onnx算子和模型结构，从而猜出你所使用的模型和关键结构，便于在他们的项目中复现。

无论哪一种方式，这都是在商业项目中公司不愿意看到的，所以好的办法是需要对onnx模型进行加密，加密后的onnx模型文件是不能使用Netron打开的，也无法观察模型的输入与输出、模型算子和结构。在应用时就需要先读取加密后的onnx模型文件，先进行解密，然后在通过从内存中读取onnx模型数据，将onnx模型成功的加载到应用中进行推理。本文将简单介绍如何使用OnnxRuntime从内存中加载onnx模型。

2 OnnxRuntime从内存中加载onnx模型文件

先介绍下OnnxRuntime如何读取本地onnx模型文件加载模型，看以下代码

#include <iostream>
#include "onnxruntime_cxx_api.h"
#include "cpu_provider_factory.h"

int main()
{
    Ort::Env ort_env;
    Ort::Session ort_session = Ort::Session(nullptr);
    std::wstring onnx_model_path = L"resnet18.onnx";

    ort_env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "load_model_test");

    Ort::SessionOptions session_options;
    session_options.SetIntraOpNumThreads(3);
    session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
    session_options.SetLogSeverityLevel(4);

    OrtSessionOptionsAppendExecutionProvider_CPU(session_options, 0);
    ort_session = Ort::Session(ort_env, onnx_model_path.c_str(), session_options);

    if (ort_session != nullptr)
    {
        std::cout << "模型加载成功" << std::endl;
    }
    else
    {
        std::cout << "模型加载失败" << std::endl;
    }

    return 0;
}

上述代码中加载模型的关键代码是

ort_session = Ort::Session(ort_env, onnx_model_path.c_str(), session_options);