对于相机不可见点，lidar可见的点如何处理？
rockywind opened this issue · 10 comments
感谢您对我们工作的关注！
我们在实验的过程中发现了类似的现象：在nuScenes数据集中的图像-点云对 (image-LiDAR pair) 不能做到一一对应。在一个约三万余个点的nuScenes点云中，大约有三分之二的点能够和图像上的像素配对；剩余大约三分之一的没有配对关系的点主要分布在以下两个区域：
- 自车周围大量分布着这样没有配对关系的点，应该是处在了相机和激光雷达视角不重叠的区域；
- 远距离区域的点，通常是超出了相机的最大视角范围。
由于上述这些点没有配对关系，因此在跨模态表征学习的过程中不会被使用到。由于这些点主要是集中在自车周围的路面点 (通常会被过滤掉一部分)，以及很远范围上的若干稀疏点，它们的缺席可能并不会对表征学习产生太大影响。
除此之外，在下游微调任务中，上述这样的没有配对关系的点 (以及它们对应的标注) 会被使用到，因此我们认为可以不用过于担心它们在表征学习过程中缺失这一问题。
希望上述回答可以帮到您！
您好，我们想用Segment-Any-Point-Cloud来生成点云标签，并用于点云分割的训练，这个方法可行吗？还是说我们训练一个点云分割的大模型，并用它来推理未标注的数据，从而得到未标注数据的伪标签。
请问你们想要标注的是什么点云数据集呢？它的参数配置和SemanticKITTI或者nuScenes类似吗？
孔博士，您好，我们要标注自采的泊车场景和行车场景点云分割。格式跟semantic Kitti一样的。
您好，再请教个问题哈。
下图所示，青色是building, 红色是vehicle，红色的vehicle上面会附着上一下青色的点，这些点是lidar可以看到，相机不能看到造成，要如何去除这些点的干扰。
@rockywind，关于第一个问题：如果点云是和SemanticKITTI配置一致的话，建议先使用目前性能比较出色的模型，对点云进行粗标注，再由人手动精细打标。
关于第二个问题：如果在数据采集的过程中，已自动生成点云-相机之间的对应关系的话，可以直接筛选过滤掉不在相机视角 (和相机没有对应关系) 的点。
您好，孔博士，
有个问题哈，现有的Segment-Any-Point-Cloud方法还不支持对数据进行标注吗？
您好，孔博士， 有个问题哈，现有的Segment-Any-Point-Cloud方法还不支持对数据进行标注吗？
您好，我们没有关于数据标注部分的支持。这个工作主要还是点云分割的表征学习与预测，也即：通过在无标注的点云数据上预训练，以及利用少量带标注点云数据进行微调，实现良好的点云分割性能。
通过上述方式训练得到的模型，可以用来对无标注点云数据进行粗打标，再通过结合人工标注的方式可以得到更精细的标注。
嗯嗯，谢谢孔博士帮忙。孔博士方便加您微信吗？我的微信是15394417826
嗯嗯，谢谢孔博士帮忙。孔博士方便加您微信吗？我的微信是15394417826
好的，已添加