yatengLG/ISAT_with_segment_anything

是否能够增加全景分割标注功能

Closed this issue · 4 comments

考虑到全景分割是一个更加统一的任务,涵盖了实例和语义。能否添加此功能?

全景分割标注和现在这个标注本质上是一样的啊,现在也可以标注全景。

所谓的全景分割不就是整幅图每个像素点都有类别嘛(提现到标注细节上,和当前软件唯一差异在于,多边形相交处没有缝隙而已。)

全景分割标注和现在这个标注本质上是一样的啊,现在也可以标注全景。

所谓的全景分割不就是整幅图每个像素点都有类别嘛(提现到标注细节上,和当前软件唯一差异在于,多边形相交处没有缝隙而已。)

作者你好,感谢你及时的关注。是的,全景分割没有overlap。所以根据我的经验:

  • 我在使用本软件标注过程中,我最初特意避免了overlap而进行标注。但是在对于背景类(stuff)的标注就会比较吃力耗时。最后我选择先对主体物(things)在标注过程中避免overlap,并在完成所有主体物品的标注后,再进行背景类的标注(此时不考虑overlap,直接覆盖),最后通过代码,将主体物的掩膜直接对背景类标注进行扣减,来最终获得背景类的标注。这个过程比较繁琐;
  • 其次,全景分割标注类型分为things和stuff,其标注文件中things是有实例区分的,同一张图上可以有多个,而stuff,在一张图上,同一个类的stuff是需要合并为一个掩膜的。本软件都是按实例进行标注的,也需要配合进行相应的后处理。
  • 最后就是,全景分割标注还涉及到全局独立id的问题,并且按coco标准格式,全局分割的标注文件同时包括全局json,实例json以及带有语义标签的png文件,png文件里的颜色编码还和全局独立id有关联,比较繁琐。
    总之,全景分割标注的转换过程还是有蛮多繁琐的细节和过程,考虑到其潜在的更加统一的应用前景,如果能端到端导出该格式,并且考虑标注层间关系自动扣减避免overlap(标注工作会更好做点), 我个人觉得挺有意义的。

再次感谢作者的贡献

  • 我在使用本软件标注过程中,我最初特意避免了overlap而进行标注。但是在对于背景类(stuff)的标注就会比较吃力耗时。最后我选择先对主体物(things)在标注过程中避免overlap,并在完成所有主体物品的标注后,再进行背景类的标注(此时不考虑overlap,直接覆盖),最后通过代码,将主体物的掩膜直接对背景类标注进行扣减,来最终获得背景类的标注。这个过程比较繁琐;

这个过程,先标注things,按实例标注就好,isat会自动处理好组id等信息;后续标注stuff,然后将其图层置底(ISAT有图层置顶/底功能)就好。
这部分存在一个问题就是,things之间会存在一定程度的间隔,这个主要是由于polygon导致的,若想完全没有间隔,必须是mask形式,但该形式不太好二次修改。

  • 其次,全景分割标注类型分为things和stuff,其标注文件中things是有实例区分的,同一张图上可以有多个,而stuff,在一张图上,同一个类的stuff是需要合并为一个掩膜的。本软件都是按实例进行标注的,也需要配合进行相应的后处理。

对于stuff的组id问题,可以手动进行更改
但ISAT支持多轮廓保存模式,对于同一类的stuff不同区域的mask转polygon时,会保存为同一个组id。你可以深入了解下。

  • 最后就是,全景分割标注还涉及到全局独立id的问题,并且按coco标准格式,全局分割的标注文件同时包括全局json,实例json以及带有语义标签的png文件,png文件里的颜色编码还和全局独立id有关联,比较繁琐。

这部分是数据格式的转换问题。实际上双png(语义/实例)的支持,已经可以满足全景分割的需求了。但如果你需要特定的数据格式,可能还需要自行转换一下(毕竟数据格式太多了,不可能满足所有人的需求)。

好的好的我试试