快速部署Python+PyTorch AI模型推理服务的Docker方法
一个AI模型需要快速上线验证时,前期可以不考虑模型加速和并发的问题,直接基于python+pytorch+cuda(cpu)的方式打成docker,包成推理http服务上线。 打成docker有两种方式: 1. 基于NVIDIA的官方CUDA版本的docker镜像,逐步安装python、pytorc…
- 模型部署
- 2025-06-10
OnnxRuntime – 模型部署笔记3,总结OnnxRuntime模型推理流程
1 OnnxRuntime模型推理流程 1.1 OnnxRuntime模型推理流程总体简介 OnnxRuntime模型推理的整个流程主要可以分为2个阶段,分别是初始化阶段、模型推理阶段。 初始化阶段需要依次执行以下任务: 设置env 设置session option,此阶段可以设置session的相…
- OnnxRuntime
- 2023-03-24