yerfor/Real3DPortrait

我尝试实现 视频到视频的推理,结果很差

Opened this issue · 1 comments

1.我实现视频到视频的推理,将 处理参考图像的代码,修改为处理视频帧代码,测试结果很差,有什么方法能提高效果吗?
这是 视频到视频推理:

09.mp4

这是 图片到视频的推理效果:

10.mp4

这是我代码修改主要地方,请大佬指点

  1. 对于函数 prepare_batch_from_inp
    遍历参考视频每一帧合并得到sample字典信息:
    image
  2. 修改函数 get_driving_motion ,参照drv_secc_colors 处理方法,处理了 src_secc_colors和cano_secc_colors ,
lvZic commented

hi, have u figured it out?