DeepMotionEditing/deep-motion-editing

训练之后的效果存在问题

Opened this issue · 1 comments

大神您好!非常感谢你们能够开源这么棒的工作,我最近也在做相关的工作,研究了一下你们的代码,尝试训练,运行的过程中遇到了问题,想请教一下。
A2B
上图是通过我们训练出来的结果得到的重定向数据,从左到右依次为gt,result,input。我们尝试去除了GAN_loss(gan mode设置为none)进行训练,训练用的dataset没有做过修改,但随着训练次数的增多,重定向result的末端关节会越来越接近source数据的状态,例如上图,Big Vegas的手脚和gt相比,明显倾向于Aj的input状态,请问这可能是什么原因导致的?
此外,我还对loss的初始参数有点疑问,在option_parser.py中,lambda_ee的值默认为100,这与论文中的比例相差巨大,请问loss参数的这些默认值是否存在问题?
希望大神能够抽空回答一下我的问题,感激不尽。

你好,非常感谢你们对这个项目的兴趣,叫大神就不必了😂

同时感谢你提出的问题,我们在论文在描述lambda时存在一些typo,lambda_ee应该是20,lambda_adv应该是0.2,在代码实现时等比例放大了5倍

你提出的是一个非常好的问题。我们当时在观察效果时没有遇到类似的姿势所以没有关注这个问题。如果我们提供的预训练模型中不存在这样的问题,一个可能的原因就是adv_loss有帮助。如果预训练模型中同样存在这样的问题,那么也许需要减小lambda_ee或者改变ee_loss中不同角色的归一化方式来提升效果