/Super-SloMo

PyTorch 实现的基于英伟达 Super SloMo 方法,实现视频补帧

Primary LanguageJupyter Notebook

Super-SloMo

准备环境

该代码库是使用 PyTorch 0.4.1,CUDA 9.2 和 Python 3.6 开发和测试的。

  • 对于 GPU,运行
conda install pytorch=0.4.1 cuda92 torchvision==0.2.0 -c pytorch
  • 对于 CPU,运行
conda install pytorch-cpu=0.4.1 torchvision-cpu==0.2.0 cpuonly -c pytorch

训练

准备训练数据

为了使用提供的代码训练模型,需要以某种方式格式化数据。create_dataset.py 脚本使用 FFmpeg 从视频中提取帧。

Adobe240fps

对于 adobe240fps,下载数据集,解压缩,然后运行以下命令:

python data\create_dataset.py --ffmpeg_dir path\to\folder\containing\ffmpeg --videos_folder path\to\adobe240fps\videoFolder --dataset_folder path\to\dataset --dataset adobe240fps

自定义数据集

对于自定义数据集,运行以下命令:

python data\create_dataset.py --ffmpeg_dir path\to\folder\containing\ffmpeg --videos_folder path\to\adobe240fps\videoFolder --dataset_folder path\to\dataset

运行

Super-SloMo.ipynb 中,设置参数(数据集路径,检查点目录等)并运行所有单元。

TensorBoard

为了获得训练的可视化效果,您可以使用以下命令从项目目录运行 TensorBoard:

tensorboard --logdir log --port 6007

评估

预训练模型

您可以下载 adobe240fps 数据集训练的预训练模型

训练数据转换器

您可以使用 video_to_slomo.py,将任何视频转换为慢动作或高 fps 视频,使用这个命令:

Windows

python video_to_slomo.py --ffmpeg path\to\folder\containing\ffmpeg --video path\to\video.mp4 --sf N --checkpoint path\to\checkpoint.ckpt --fps M --output path\to\output.mkv

Linux

python video_to_slomo.py --video path\to\video.mp4 --sf N --checkpoint path\to\checkpoint.ckpt --fps M --output path\to\output.mkv 

如果要将视频从 30fps 转换为 90fps,请将 fps 设为 90,sf 设为 3.