视频稳定模型FuSta环境配置和运行踩坑实录和教程

1 FuSta 视频稳定模型

FuSta是目前视频全帧稳定（保持视频稳定后100% FOV）开源程度最高的开源仓库，包含代码，模型权重，以及Google colab。
主页：https://alex04072000.github.io/FuSta/
论文链接：https://arxiv.org/abs/2102.06205
Github仓库：https://github.com/alex04072000/FuSta

对于历年来经典的和基于深度学习的视频稳定方法可参考这个仓库：https://github.com/yaochih/awesome-video-stabilization

2 FuSta环境配置

FuSta模型的环境配置主要包含两个部分，一个部分是Yu and Ramamoorthi在2020发表的Learning Video Stabilization Using Optical Flow，该部分主要用于求解整个视频的仿射场信息，另一部分则是FuSta自己的仓库代码，进行全帧稳定帧生成。

从FuSta的官方仓库中Readme中对于这两个部分是使用两个conda环境的，且Yu and Ramamoorthi 2020是基于python 3.6h、pytorch 1.0.0、cudatoolkit 10.0，而FuSta则基于python 3.6、pytorch 1.6、cudatoolkit 10.1，在2025年的今天，上述环境都是很老，很少能保持支持cudatoolkit 10.1的显卡驱动，并且需要维护两个conda环境，非常麻烦。

所以本文将记录在Windows/Ubuntu，CUDA 11.8、pytorch 1.13.1用一个conda环境配置FuSta的踩坑记录（淦，跳入了一个大坑）。

2.1 创建conda环境

使用以下命令创建基于python 3.9、CUDA 11.8、python 1.13.1的conda环境

conda create -n FuSta python=3.9
conda activate FuSta
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

2.2 编译FlowNet2自定义的CUDA算子

FuSta官方仓库中是最直接使用的install.sh进行编译的，install.sh的内容如下

#!/bin/bash
cd ./networks/correlation_package
python setup.py install --user
cd ../resample2d_package 
python setup.py install --user
cd ../channelnorm_package 
python setup.py install --user
cd ..

意思就是分别进入到CVPR2020CODE_yulunliu_modified/networks/correlation_package、CVPR2020CODE_yulunliu_modified/networks/resample2d_package、CVPR2020CODE_yulunliu_modified/networks/channelnorm_package文件夹，执行

python setup.py install --user

安装CUDA算子，这一步是最坑的。
首先，将上述三个文件夹中的setup.py中的