快速部署Python+PyTorch AI模型推理服务的Docker方法
一个AI模型需要快速上线验证时，前期可以不考虑模型加速和并发的问题，直接基于python+pytorch+cuda（cpu）的方式打成docker,包成推理http服务上线。 打成docker有两种方式： 1. 基于NVIDIA的官方CUDA版本的docker镜像，逐步安装python、pytorc…
- 模型部署
- 2025-06-10
视频显著性检测模型TasedNet在移动端的轻量化设计
1 TasedNet轻量化 TASED-Net 是一种用于视频显着性检测的新型全卷积网络架构。主要思想简单但有效：对 3D 视频特征进行空间解码，同时联合聚合所有时间信息。 github:https://github.com/MichiganCOG/TASED-Net TasedNet官方仓库预训练…
- 模型部署
- 2024-11-25
NCNN – ncnn将onnx模型转换为fp16模型
本篇文章将详细说明如何将onnx模型转换为在ncnn中可以使用的fp16半精度模型。 本文所使用的操作系统为Windows，使用的全部是ncnn发布包中自带的工具。首先使用onnx2ncnn将onnx模型转换为ncnn的param和bin模型，然后使用ncnnoptimize工具将上一步转换的par…
- NCNN
- 2023-12-07
OnnxRuntime – 从内存数据中加载onnx模型进行推理
1 从内存中加载onnx模型的必要性 使用OnnxRuntime部署onnx模型时，目前常用的的做法是直接从本地加载onnx模型文件。这种方式在做模型快速部署和测试时操作简单，节省部署时间。但是如果在一个商业项目中使用这种方式部署模型，其他人都可以很轻松的拿到你网络的onnx模型，低阶一点的就是直接…
- OnnxRuntime
- 2023-10-25
TensorRT – 学习和开发的相关网页备忘
1 TensorRT 学习和开发的相关网页 TensorRT主页：https://developer.nvidia.com/tensorrt TensorRT入门文档：https://docs.nvidia.com/deeplearning/tensorrt/index.html TensorRT开…
- TensorRT
- 2023-09-25
OnnxRuntime – Linux配置OnnxRuntime开发环境
之前都是在Windows系统上使用Onnxruntime部署模型，用的Visual Studio配置开发Onnxruntime非常简单，具体的教程可以看我之前发的这篇文章：OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境。最近有将…
- OnnxRuntime
- 2023-09-05
OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
1 OnnxRuntime如何部署多个输入和多个输出的模型 1.1 OnnxRuntime仓库问题答疑 这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题，这个问题的链接在这里。 在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码…
- OnnxRuntime
- 2023-08-24
OnnxRuntime – C++捕获OnnxRuntime中的异常
1 如何捕获OnnxRuntime中的异常 之前在写OnnxRuntime部署模型代码的时候没有写捕获异常的代码，导致推理过程出错就直接崩溃。今天查了一下，在OnnxRuntime中是有异常处理机制的，OnnxRuntime中提供了继承std::exception的结构体Ort::Exception…
- OnnxRuntime
- 2023-08-24
C++ – Yolo的letterbox图片预处理方法，缩放图片不失真
1 letter box预处理方法 在yolo家族的一系列目标检测模型或者其他与视觉相关的深度学习模型的部署过程中，一般来说，如果导出的是静态shape的模型，那么我们先要将输入的图片resize到给定的图片大小，如果使用常规的resize方法，比如将一张1920x1080的图片resize到640…
- C++
- 2023-07-17
TensorRT – 使用TensorRT C++ SDK部署模型时推理时间波动不稳定或者推理速度越来越慢的问题
1 使用TensorRT C++ SDK部署模型推理时间不稳定或者推理速度越来越慢的问题 最近今天在使用TensorRT C++ SDK部署PaddleSeg的PPMattingV2-512模型，如果只是对单张图片进行推理的话，推理一张图片在8-10ms左右。如果对摄像头或者是视频文件进行推理，前面…
- TensorRT
- 2023-07-07
OpenVINO – 在Windows系统上配置OpenVINO C++开发环境
1 OpenVino 运行时开发包下载 官网下载地址：https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/download.html 这里我们只使用OpenVino进行模型部署，所以我们主要选择运行时即可，操…
- OpenVINO
- 2023-06-02