视频会议抠背景,基本功能类似于腾讯会议、Google Meeting
最近因为工作需要,Google Meeting用的比较多,用的时候我就发现几个问题了。1. 人像抠图效果一般;2. 虚拟背景违和感强。每次开摄像头面对面谈东西的时候,总是看着对方的虚拟背景看着看着就出戏了,实在是太假了。
因此萌发了做一个视频会议换背景的想法。目前人像抠图用的是MODNet,调色用的是SSH。
PS:项目中的网络推理均使用ncnn引擎实现
- 人像视频换背景:使用MODNet的人像抠图实现,直接用的飞哥传书转换好的模型。目前问题就是慢,在我的电脑上只能跑到2fps,我以前也做过抠图模型,能跑到20fps左右,但是效果比较差,就不用了。
- 人像&背景调色:使用SSH实现,SSH是个对合成图像进行调色的工作,具体可以看文章。目前问题就一点,调出来的颜色像僵尸┑( ̄Д  ̄)┍。
- 人像抠图
- 色调调整
- 换更好的抠图模型(有卡再说)
- 换更好的调色模型(有卡再说)
- 增加锁头效果(类似苹果的那种,通过裁切画面保证人在中间)(有1080P摄像头再说)
- 氪金