hzwer/ECCV2022-RIFE

将fastmode设置为false后图像的插帧效果不佳

Opened this issue · 3 comments

我对两张图像进行插帧,在fastmode设置为false后,生成的结果不佳,请问是什么原因导致的。
img1
同时在output中保存的原始图像img0与img1质量有些退化,是什么原因导致的。

hzwer commented
if not fastmode:
     print('contextnet is removed')
    '''
    c0 = self.contextnet(img0, flow[:, :2])
    c1 = self.contextnet(img1, flow[:, 2:4])
    tmp = self.unet(img0, img1, warped_img0, warped_img1, mask, flow, c0, c1)
    res = tmp[:, :3] * 2 - 1
    merged[3] = torch.clamp(merged[3] + res, 0, 1)
    '''

在当前版本 v4.6 中,fastmode=false 理论上只会打印出一行提示信息
以视觉效果为目标的所有模型都推荐使用 fastmode,原因是 refinenet 基本上只是提升 psnr 指标而降低视觉效果

你好,对于两帧图像相差较大的情况下,插帧的结果边缘较为模糊,请问有什么改进方法吗

hzwer commented

你可以考虑用 FILM 方法,他们针对这样的情况进行了优化
https://github.com/google-research/frame-interpolation