openxrlab/xrmocap

About Online Motion Capture

Billccx opened this issue · 1 comments

Hello! I wonder how to implement online motion capture base on this project? Thanks in advance!

您好,请问本项目支持在线实时动捕么?
通过阅读论文‘Fast and Robust Multi-Person 3D Pose Estimation and Tracking From Multiple Views’,我想尝试修改项目中的mvpose_tracking相关代码,从而实现实时在线动捕,不知道这样做是否可行呢?希望能够得到您的建议,谢谢!

您好,本项目中基于优化的 top-down 多目多人动捕方法(即mvpose和mvpose tracking)不支持在线实时动捕。mvpose tracking 减少耗时主要是通过跳帧匹配来实现的,另外,匹配耗时与视角数和人数也有关系。除了匹配耗时,您也需要考虑三角化和2d pose estimation的耗时问题。您可以参考Inference教程在 Campus 或 Shelf 数据集上测试一下各个功能模块的耗时。