HikariTJU/LD

知识蒸馏

Closed this issue · 10 comments

cxq1 commented

你好，我想问一下，能否用全监督的模型比如（Faster RCNN)作为Teacher模型给弱监督的模型做 蒸馏 比如用Feature Imitaion的方法
这么做是否有意义，我没怎么看到这么做的论文，

HikariTJU commented

数据集不一样，做蒸馏有没有意义还真不好说，我倾向于没有什么意义

cxq1 commented

数据集不一样，做蒸馏有没有意义还真不好说，我倾向于没有什么意义

都是在coco或者voc数据集呢

HikariTJU commented

你是说在coco上做弱监督的模型吗，能否给几篇论文参考下？

cxq1 commented

你是说在coco上做弱监督的模型吗，能否给几篇论文参考下？

Point-to-Box Network for Accurate Object
Detection via Single Point Supervision

Spatial Self-Distillation for Object Detection with Inaccurate Bounding Boxes

HikariTJU commented

不是很懂这一块，但是有几个疑问：

  1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?
  2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？
cxq1 commented

不是很懂这一块，但是有几个疑问：

1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?

2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？

弱监督的难点是在 并没有提供边界框就是没有gt,在训练的时候用的是伪框，这个伪框可以是由点生成的

cxq1 commented

不是很懂这一块，但是有几个疑问：

1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?

2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？

弱监督的难点是在 并没有提供边界框就是没有gt,在训练的时候用的是伪框，这个伪框可以是由点生成的

就是想让弱监督模型 伪框的定位比较差，想让他从全监督的模型中学到好的定位能力

HikariTJU commented

我的意思是：
用⌈全监督模型⌋去监督⌈弱监督模型⌋， 还叫弱监督学习吗？

cxq1 commented

我的意思是： 用⌈全监督模型⌋去监督⌈弱监督模型⌋， 还叫弱监督学习吗？

只是特征上的蒸馏 也没用到gt 应该还能叫弱监督吧 这个问题我不是很确定

HikariTJU commented

你在训练teacher的时候用到了GT