We finally got a not bad score and run into the first 50 team.
说明
该项目源自CVPR的一个开源项目 Feedback Network for Image Super-Resolution [arXiv] [CVF] [Poster] 我们团队根据初步调研和对比(EDSR等),发现基于反馈机制的网络在精细化超分的过程中有一定的优势,故基于此项目构建 来形成团队的算法模型
- Ubuntu16.04 or later
- Python 3 (Anaconda is recommended)
- imageio
- Pytorch (Pytorch version >=1.0 is recommended)
- tqdm
- pandas
- numpy
- cv2 (pip install opencv-python)
- tensorboardX (for visualization)
pip3 install -r requirement.txt
-
在data/youku_data_list_20190731.txt中有数据下载地址
-
确保ubuntu系统安装了unzip与zip解压包和ffmpeg:
sudo apt-get update sudo apt-get install zip unzip ffmpeg
-
分别拷贝相应的视频压缩文件到
../data
各个子目录中|–data |-- round1_train_input |-- round1_train_label |-- round1_val_input |-- round1_val_label |-- round1_test_input
-
运行
./prepare_data.sh
将所有数据生成正确的目录(大约20分钟)
本地测试的CUDA版本为10.0, GPU为Nvidia Titan Pascal (12.0G) 由于推理时需要用到增强功能(SRFBN+),因此,请至少保证显存大于等于10G
执行
./run.sh
该脚本流程为: 训练 -> 推理 -> 生成视频 -> 生成提交压缩文件
运行完成后,请上传../submit/resulit.zip
结果到评测系统
团队在本地训练模型时用到了3个Titan Pascal卡,为了能够在官方环境正常训练模型,默认为使用
1个GPU来训练(P100, 16G),可将训练batch size
调成96
,并将模型验证集的batch size
调为2
.
推理阶段请保存
batch-size=1
,以便可以正确的写入文件夹!
code/models
模型文件将包含团队历史最好的模型文件
SRFBN_x4_YouKu529.pth
,以及本次运行完成后的最新模型文件best_ckp.pth
如果需要单独评估历史最佳模型,请将模型
SRFBN_x4_YouKu529.pth
重命名为best_ckp.pth
并运行./evaluate_ref.sh
SRFBN虽然在精细化恢复方面具有一定的优势,但是速度方面较差,后期团队将结合EDVR 尝试直接针对视频超分,以提高处理速度。
Todo:
- Ensemble 模型(提高精度)
- 提高速度
@inproceedings{li2019srfbn,
author = {Li, Zhen and Yang, Jinglei and Liu, Zheng and Yang, Xiaomin and Jeon, Gwanggil and Wu, Wei},
title = {Feedback Network for Image Super-Resolution},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year= {2019}
}
@inproceedings{wang2018esrgan,
author = {Wang, Xintao and Yu, Ke and Wu, Shixiang and Gu, Jinjin and Liu, Yihao and Dong, Chao and Qiao, Yu and Loy, Chen Change},
title = {ESRGAN: Enhanced super-resolution generative adversarial networks},
booktitle = {The European Conference on Computer Vision Workshops (ECCVW)},
year = {2018}
}