避坑指南 – 解决PaddleOCR-VL在GPU上随机概率出现模型推理假死问题
1 PaddleOCR-VL在GPU上随机出现推理假死问题 之前在一个自己的一个算法管线里面加入了PaddleOCR-VL用于文字识别，我的数据是一连串的图片。 今天突然发现提交的一个任务在PaddleOCR-VL模型调用predict方法推理的时候会卡在那里，既没有爆显存，python也没有捕捉到…
- 模型部署
- 2026-04-17
KV Cache是什么？为什么会有KV Cache?
在以Transformer架构的模型推理阶段，KV Cache是一种为了大幅提升大语言模型(LLM)生成速度而采用的关键技术，核心目标是：避免在生成一个新的Token时，重复计算之前已经生成过的Token的注意力信息。 1 KV Cache是什么？ 在Transformer模型中，注意力机制的核心公…
- 面试题
- 2026-04-07
PagedAttention是什么？
PagedAttention是vLLM团队提出的一种内存管理机制，它借鉴了现代操作系统中虚拟内存(Virtual Memory)和分页(Paging)的设计思想。 1 为什么需要PagedAttention? 在传统的KV Cache实现中，我们通常需要预先为每个序列分配一块连续的显存空间，其大小通…
- 面试题
- 2026-04-07
RLHF: Reinforcement Learning from Human Feedback 基于人类反馈的强化学习
本文翻译自：https://huyenchip.com/2023/05/02/rlhf.html , 由Chip Huyen在2023年3月2日发表于https://huyenchip.com/ 在探讨 ChatGPT 为何能如此吸引我们想象力的文献中，我经常遇到两种说法： 1. 规模：投入更多的数…
- AI
- 2026-01-07
快速部署Python+PyTorch AI模型推理服务的Docker方法
一个AI模型需要快速上线验证时，前期可以不考虑模型加速和并发的问题，直接基于python+pytorch+cuda（cpu）的方式打成docker,包成推理http服务上线。 打成docker有两种方式： 1. 基于NVIDIA的官方CUDA版本的docker镜像，逐步安装python、pytorc…
- 模型部署
- 2025-06-10
Basicsr增加计算lpips评测指标
lpips是图像超分中的重要评测指标，但是在BasicSR中没有实现，本文将分享如何在BasicSR中增加lpips评测指标。 1 安装lpips和BasicSR 首先安装lpips pip install lpips 然后安装BasicSR pip install basicsr 2 在Basic…
- 图片超分
- 2025-04-08
修改basicsr模型训练的流程，在模型训练和微调之前就验证一遍数据集
1 修改basicsr模型训练的流程，在模型第一次训练之前就验证一遍数据集 找到basicsr的basicsr/train.py文件，如果是以包的方式安装的basicsr，就在你的conda环境中找到basicsr的包所在位置，然后再找到basicsr/train.py文件。 一般在conda虚拟环…
- 图片超分
- 2025-03-28
修改basicsr模型训练时的loss打印输出形式，从科学计数修改为小数点形式
1 修改basicsr模型训练时的loss打印输出形式，从科学计数修改为小数点形式 找到basicsr的basicsr/utils/logger.py文件，如果是以包的方式安装的basicsr，就在你的conda环境中找到basicsr的包所在位置，然后再找到basicsr/utils/logger…
- 图片超分
- 2025-03-28
图片超分和视频超分数据集整理
在图像超分和视频超分领域中，数据集至关重要。本文旨在概述流行的开源图像超分和视频超分数据集，为正在做超分的同学提供数据集思路。 1 图像超分辨率数据集 1.1 DIV2K数据集 DIV2K数据集是用于图像超分辨率最流行的数据集之一，是为 NTIRE2017 和 NTIRE2018 超分辨率挑战赛收集…
- 图片超分
- 2025-03-26
BasicSR 模型训练和模型测试配置文件配置信息详细说明
1 BasicSR训练配置文件各配置项详细说明 本文内容来源于BasicSR-docs ，这里只做摘抄，这个仓库对BasicSR目录层次，代码结构、文件配置的详细说明文档，如果你正在学习和了解BasicSR，我推荐可以先详细阅读这个文档。 1.1 通用配置 # general settings - …
- 图片超分
- 2025-03-25
使用自定义LR-HR pair对数据集微调Real-ESRGAN 1x 1倍超分模型
1 什么场景下我们会需要Real-ESRGAN 1x 1倍超分模型？ 一提到超分，想到的肯定是将输入图片放大2倍、4倍、8倍、甚至16倍，那么为什么会有图像超分1倍这种需求呢？ 比如一张输入图片，分辨率为1920x1082，然后图片超分1倍，依然输出一张1920x1080分辨率的图片。在大多数人看起…
- 图片超分
- 2025-03-20
Real-ESRGAN在模型训练和模型微调时打印的各个loss项所代表的含义
1 Real-ESRGAN在模型训练和模型微调时打印的各个loss项的意思 Real-ESRGAN在模型训练和模型微调时每次log会打印如下的信息， l_g_pix: 0.0713440 l_g_percep: 11.8532104 l_g_gan: 0.2081660 l_d_real: 0.23…
- 图片超分
- 2025-03-14