能否利用输入深度图信息来简化网络结构？
xsp1 opened this issue · 4 comments
xsp1 commented
作者您好，我对您的研究很感兴趣，我想请教一下，如果在输入时提供额外的信息会不会使插帧效果变得更好呢？比如苹果手机可以拍摄场景的深度信息，利用这个深度信息，比如在训练时同时输入两张原始图像和对应的两张深度图像，这样能不能在保障插帧效果的同时，适当得简化网络模型结构呢？十分感谢！
hzwer commented
你好，我不太有这方面的经验。我的想法是目前插帧大部分问题出在复杂的运动物体和大视差跨度上，这两点和深度图像的交集都弱了些，所以预计效果不会特别强。
但如果你说的插帧是针对静态物体的视角变化，可能会有比较好的效果。
lucy0427 commented
作者您好，我对您的研究很感兴趣，我想请教一下，如果在输入时提供额外的信息会不会使插帧效果变得更好呢？比如苹果手机可以拍摄场景的深度信息，利用这个深度信息，比如在训练时同时输入两张原始图像和对应的两张深度图像，这样能不能在保障插帧效果的同时，适当得简化网络模型结构呢？十分感谢！
你好，请问您在这方面有进展吗？我也想加入深度图信息来辅佐进行插帧，但是没什么思路。
lucy0427 commented
你好，我不太有这方面的经验。我的想法是目前插帧大部分问题出在复杂的运动物体和大视差跨度上，这两点和深度图像的交集都弱了些，所以预计效果不会特别强。 但如果你说的插帧是针对静态物体的视角变化，可能会有比较好的效果。
看论文DAIN 使用了深度信息，插帧的结果好像肉眼感觉更加立体一些。对大运动没有效果吗？哭
routineLife1 commented
如果对深度很敏感的话，其实可以把DAIN里的旧模块全换一遍，比如PWC-Net换成RAFT，整体结构不动，搓一个新的试试