技术文档:[Markdown] [PDF]
原始图像:Original Images
效果图:
技术文档:[Markdown] [PDF]
算法流程图:
代码:Part III - Semantic Segmentation
技术文档:[Markdown] [PDF]
语义分割结果:Semantic Segmentation Results
效果图:
技术文档:[Markdown] [PDF]
白模结果(Colmap+Meshlab):White Mesh
白模结果(NeuS):White Mesh (NeuS)
效果图(Colmap+Meshlab):
效果图(NeuS):
技术文档:[Markdown] [PDF]
网站链接:SDU 3D-Viewer
预览图:
AA-RMVSNet [arXiv] [CVF] [PDF]
Wei Z, Zhu Q, Min C, et al. Aa-rmvsnet: Adaptive aggregation recurrent multi-view stereo network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 6187-6196.
Cascade-MVSNet [arXiv] [CVF] [PDF]
Gu X, Fan Z, Zhu S, et al. Cascade cost volume for high-resolution multi-view stereo and stereo matching[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 2495-2504.
Ding Y, Yuan W, Zhu Q, et al. TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers[J]. arXiv preprint arXiv:2111.14600, 2021.
Sun J, Shen Z, Wang Y, et al. LoFTR: Detector-free local feature matching with transformers[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8922-8931.
Ma X, Gong Y, Wang Q, et al. EPP-MVSNet: Epipolar-Assembling Based Depth Prediction for Multi-View Stereo[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 5732-5740.
PatchmatchNet [arXiv] [CVF] [PDF]
Wang F, Galliani S, Vogel C, et al. PatchmatchNet: Learned Multi-View Patchmatch Stereo[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 14194-14203.
Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks[J]. arXiv preprint arXiv:2004.08955, 2020.
Wang P, Liu L, Liu Y, et al. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction[J]. arXiv preprint arXiv:2106.10689, 2021.
稀疏重建部分使用Colmap完成相机参数的获取。
稠密重建部分的代码主要来源于AA-RMVSNet。
点云切割与可视化使用CloudCompare及Meshlab完成。
调用Open3D进行表面重建。
Cascade+Transformer的代码主要基于kwea123实现的pytorch-lightning版本的Cascade-MVSNet以及LoFTR进行实现。
窗户识别算法中部分思路参考了Color Space的矩形识别算法,图像处理技术主要基于冈萨雷斯的数字图像处理(第三版)。
语义分割部分调用了PyTorch-Encoding。
网站开发使用了Element-Plus的组件,使用Potree和Three.js进行渲染。
白模生成使用了NeuS的代码进行训练并测试。