openxrlab/xrmocap

抖吗?or to bvh, fbx?

foocker opened this issue · 4 comments

好奇,测试结果抖吗?有视频转bvh或者fbx实现? 想测试一下。

Hi @foocker, welcome to commit your first issue!
你好 @foocker,非常欢迎首次提交你的问题!

@foocker 抖动的情况可以根据上手教程进行尝试,在算法流程中加入了防抖的优化器,也有一些可调参数,具体取决于您对最终平滑程度的要求。
算法的最终输出可以为SMPL或SMPLX,其表示为骨骼旋转角,可自行或使用其它工具转为bvh或fbx,未来我们也考虑开放此部分的功能。

@foocker 抖动的情况可以根据上手教程进行尝试,在算法流程中加入了防抖的优化器,也有一些可调参数,具体取决于您对最终平滑程度的要求。 算法的最终输出可以为SMPL或SMPLX,其表示为骨骼旋转角,可自行或使用其它工具转为bvh或fbx,未来我们也考虑开放此部分的功能。

感谢回复。我测试了很多了,我就想问问测试情况。整个一套的,我都做过。防抖的方式,也做了4种左右。 不管是bvh平滑,smoothnet去平滑,各种滤波平滑,都测试过。 单目到smplx,抖动,滑步,骨骼,...都是问题。
所以,只是想知道测试的情况。 不同频率的视频,不同动作幅度的视频,其导出的fbx的视频效果,一些细节经验分析。

我们这个库是多目的视觉动捕,单目动捕效果可以参考mmhuman3d。通常来说,因为增加了同步视角,多目比单目的效果要更加稳定。以抖动为例,我们目前是放在triangulation的优化过程中来做的,也可以如您所说,通过一些后处理来做。具体的测试效果可以参考:

  • HuMMan数据集中可以看到不同动作幅度效果的展示,其中采集了500个覆盖人体肌肉群的健身动作
  • 这个issue中有一些调整过程的可视化展示
  • 首页Demo是在常用学术集Shelf, Campus和CMU Panoptic上的测试结果

以上是一些例子,要全面回答您的问题,可能更适合有一些线下交流。