hzwer/ECCV2022-RIFE

v3模型视频推理问题

fzuqxt opened this issue · 8 comments

fzuqxt commented

作者您好,我重新训练V3模型,4倍插帧推理视频的时候会出现插的3帧基本不变,像是复制的是什么原因呢?推理图片的时候不会有这种情况。

hzwer commented

如果视频和图片有差异,最大可能是推理脚本写错了 😵
三帧像复制的听起来是没有加载权重

fzuqxt commented

视频的推理脚本是您的文件里的,很奇怪权重也有加载,就是推理视频的时候会

fzuqxt commented

我是分布式训练,加载权重的时候from train_log.RIFE_HDv3 import Model
model = Model()
model.load_model(args.modelDir, -1)是这样吗,脚本里这样的

fzuqxt commented

我如果将-1设置成0,中间插出来的三帧就不是复制的,但是插出来效果很差,是不是权重什么参数转换的原因呢

hzwer commented

应该是 model.load_model(args.modelDir, -1),不然会报错

你的模型训练表现怎么样?训练和测试的数据差异大吗?

fzuqxt commented

训练插多帧的psnr是正常的30左右现在

fzuqxt commented

按理说图片推理没问题,视频也不该有问题呀

hzwer commented

视频推理脚本支持 png 输入 png 输出的,你可以试试;可以打印调试前几帧