1. 程式人生 > 其它 >超強視訊超分AI演算法,從此只看高清視訊

超強視訊超分AI演算法,從此只看高清視訊

最近發現一個特別強的視訊超分演算法————BasicVSR,在真實世界資料集中,實現了前所未有的視覺重建效果,最近它還拿下了超分比賽NTIRE 2021三冠一亞的優異成績,登上了CVPR 2022。

視訊超分,假設低解析度視訊是從高解析度的視訊經過一系列的退化操作而得到,超分演算法就是將該退化操作進行求逆,從而可以將低解析度視訊恢復成高解析度視訊。

對演算法細節感興趣的同學可以先研究一下論文『Investigating Tradeoffs in Real-World Video Super-Resolution』

我試玩了一下,感覺效果還是蠻不錯的,下面就分享一下BasicVSR在ubuntu下的安裝極簡教程。

實不相瞞,macOS和ubuntu下我都安裝成功了,Windows沒有成功(老報錯),感興趣且運氣爆表的同學可以再試試。

安裝

1 建立環境

conda create -n realbasic python=3.8

2 安裝pytorch

https://pytorch.org/get-started/locally/

具體版本需根據自己的電腦配置,如有GPU,需與注意自己的cuda版本,可以使用nvidia-smi檢視。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch

3 安裝mimmmcv-full

MMCV 是一個面向計算機視覺的基礎庫,它支援了很多開源專案。建議安裝完整版:mmcv-full ,包含所有的特性以及豐富的開箱即用的 CUDA 運算元。

但是直接pip安裝需注意cuda和torch版本,容易安裝失敗。建議使用MIM安裝,它會自動檢查 CUDA 和 PyTorch 環境並儘量幫我們安裝和環境匹配的預編譯版本的 MMCV-full,從而省去編譯的耗時。

pip install openmim
mim install mmcv-full

4 安裝MMEditing

MMEditing 是基於 PyTorch 的影象&視訊編輯開源工具箱, 提供修復/摳圖/超解析度/生成等任務最先進的演算法。用pip我試了也失敗了幾次,最後只能本地安裝:

git clone https://github.com/open-mmlab/mmediting.git
cd mmediting
pip install -r requirements.txt
# 如報錯,忽略即可,繼續執行下指令
pip install -v -e . 

使用

1 克隆專案

https://github.com/ckkelvinchan/RealBasicVSR

2 下載預訓練模型

下載地址:

在RealBasicVSR專案下新建checkpoints資料夾

3 執行
將需要轉換的視訊放到data目錄下,執行即可

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001.mp4 results/demo_001.mp4 --fps=12.5

4 結果
執行比較耗時,需耐心等待,如果你有鈔能力,當我沒說。