OnnxRuntime – 模型部署笔记3，总结OnnxRuntime模型推理流程
1 OnnxRuntime模型推理流程 1.1 OnnxRuntime模型推理流程总体简介 OnnxRuntime模型推理的整个流程主要可以分为2个阶段，分别是初始化阶段、模型推理阶段。 初始化阶段需要依次执行以下任务： 设置env 设置session option，此阶段可以设置session的相…
- OnnxRuntime
- 2023-03-24
C++ – 获取std::vector中的最小值、最大值以及对应的索引
1 获取std::vector中的最小值、最大值以及对应的索引 1.1 普通方法 普通方法就是遍历std::vector，对vector中的值进行一一对比，找出最小值、最大值及其对应的索引，示例代码如下 #include <iostream> #include <vector>…
- C++
- 2023-03-23
NCNN – 在windows上转换onnx模型为ncnn的param,bin格式
1 在windows上转换onnx模型为ncnn的param,bin格式 在Windows系统上可以直接使用ncnn在windows上的发布包里面的onnx2ncnn.exe程序对onnx模型进行转换，我们可以在ncnn的发布页https://github.com/Tencent/ncnn/rele…
- NCNN
- 2023-03-22
NCNN – 在ncnn中实现Pytorch中相同的图片归一化，减均值，除方差预处理
1 Pytorch中对图片的预处理 在Pytorch中一般使用torchvision.transforms对图片进行归一化处理，比如经常会使用以下的代码 transforms.Compose([ transforms.RandomCrop((224, 224)), # 随机裁剪成224x224 tr…
- NCNN
- 2023-03-22
NCNN – Windows编译NCNN项目出现无法打开包括文件vulkan.h的错误
1 问题 这两天在Windows上使用NCNN进行模型部署，在VS项目中配置好NCNN的头文件、lib之后，编译项目出现了以下错误 fatal error C1083: 无法打开包括文件: “vulkan/vulkan.h”: No such file or directory 我这里使用的ncnn…
- NCNN
- 2023-03-22
NCNN – Windows下使用Visual Studio编译NCNN小白教程
1 安装Visual Studio 从微软官网下载Visual Studio，现在最新的版本是Visual Studio 2022， 下载Visual Studio 2022可以从这个网址下载：https://visualstudio.microsoft.com/zh-hans/ 如果需要下载Vis…
- NCNN
- 2023-03-22
Onnx – onnx模型简化与优化
在使用onnx模型在其他框架进行部署时，一般都需要对onnx模型进行简化和优化。 1 onnx模型简化 对模型进行简化一般使用onnx-simplifier包 可以通过以下命令安装 pip install onnx-simplifier 然后就可以在项目导出onnx模型之后，使用以下代码对onnx模…
- Onnx
- 2023-03-21
NCNN – 使用onnx2ncnn工具将onnx转换ncnn模型出现Shape not supported yet!，Unknown data type 0错误
1 使用onnx2ncnn转换onnx模型到ncnn格式出错 使用NCNN中的onnx2ncnn工具转换onnx模型到ncnn格式出现错误，使用的转换命令如下 ./onnx2ncnn.exe ./mobile.onnx ./mobile.param ./mobile.bin 出现了以下错误： Sha…
- NCNN
- 2023-03-21
移动端Android/ios深度学习模型部署框架总结
本文对在移动端深度模型部署时目前常用的框架进行粗略总结。 1 NCNN Github：https://github.com/Tencent/ncnn 企业：腾讯 NCNN是一个为手机端极致优化的高性能神经网络前向计算框架。 ncnn 从设计之初深刻考虑手机端的部署和使用。 无第三方依赖，跨平台，手机…
- 模型部署
- 2023-03-21
OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境
Onnx Runtime模型部署笔记系列： Onnx Runtime – 模型部署笔记1，Onnx Runtime简介 Onnx Runtime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境 1 下载Onnx Runtime Onnx Runtime…
- OnnxRuntime
- 2023-03-20
OnnxRuntime – 模型部署笔记1，OnnxRuntime简介
OnnxRuntime模型部署笔记系列： Onnx Runtime – 模型部署笔记1，Onnx Runtime简介 Onnx Runtime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境 1 Onnx Runtime Onnx Runtime 官网…
- OnnxRuntime
- 2023-03-20
深度学习 – 归纳轻量级神经网络（长期更新）
SqueezeNet 论文标题：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size 论文： Iandola F N, Han S, Moskewicz M W, et al. S…
- 深度学习
- 2023-03-17
最新评论