PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image

[wshiya]

概要

---

1枚のRGB画像から、PlaneRCNNと称するMask R-CNNをベースとした平面検出の手法の提案。カメラの内部パラメータを既知として3種類のネットワークからなるパイプラインから平面のinstance mask, depth, normalを取得し、３D平面を再構成する。
平面にはテクスチャがないことが多く、また1枚の画像からの平面構成は不良設定問題なのでシーン全体の事前知識をして学習を行っている。平面検出、セグメンテーション、再構成でSOTA。この手法は従来難しかった任意の数の小さな平面の検出も可能。また、平面の断片のdepth map再構成の新しいベンチマークも提案している。MWD(manhattan world stereo)の手法と比較しても良好な結果を得ている。
平面の検出はロボット、AR/VRなどの応用に重要。CVPR2019
https://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_PlaneRCNN_3D_Plane_Detection_and_Reconstruction_From_a_Single_Image_CVPR_2019_paper.pdf
コード: https://github.com/NVlabs/planercnn

コメント

---

Mask R-CNNがうまく動く対象しか扱えないのかもしれない。