Reproduce LD in yolov8?
Opened this issue · 12 comments
感谢您的工作,在这里我有几个问题想和您交流以下:
①我目前在yolov8上采用VOC数据集分别训练学生和老师模型,分别选择pos位置的cls和reg distribution分别为main kd,main ld,如果按照原论文设置会导致kd loss特别大,因此我设置kd参数为weight: 0.25,T=2,ld依然是0.25,T10,模型只涨了0.6%
②yolov8由于适用TAL,对于valuable region loss不太好选择
问题1我尝试调了几次参数就是不太work
请问大佬有啥意见吗
大佬,最近又反复调了下,之前选择学生模型并没有学习能力,现在换了大一点模型,目前是涨一个点,发现一个奇怪的问题,学生模型太关注老师模型的精准度,召回率我这边考虑将剩下的负样本带进去蒸馏看看,不知道还有哪些可借鉴
- 试下coco, VOC本身在我们的实验里提升就不是很大
- 脱离科研太久了没怎么看新论文,TAL是什么?一种类似ATSS的Assign方式吗,如果是Assigner,那不就应该有正负样本么?
- 你说的可借鉴是指什么?
好的 我准备在VOC试了有效再搞COCO,tal是正负样本匹配的方式主要没有阈值概念,可能时半会还没有想出获取valuable negtive region办法,我们只蒸馏正样本区域,并没有考虑到怎么召回更多的围绕再gt周围的anchor
hhh 这么刺激,我试一下
大佬,我最近复现特征蒸馏非常不顺利(yolov8上),能加个微信聊聊吗,我发过您邮箱
没收到你的邮件, 2668129173是你的qq吗
大佬有空的适合加一下,我的微信号wangtao2668129173
大佬我最近也在v8上搞蒸馏,能否参考下是如何添加蒸馏部分的 代码
@wangtao2668129173 大佬,您现在yolov8蒸馏搞得咋样,想跟您学习下
@wangtao2668129173 大佬,您现在yolov8蒸馏搞得咋样,想跟您学习下
实验结果在VOC 数据集非常有效,但是coco 只对精准度有用,整体指标提升没有VOC明显。还有就是目前yolov8 检测器参数量比起mmdetection 检测模型还不太够,能起效的方法其实并不多。以及rtmdet 、damoyolo 有些蒸馏方法为啥起效其实迁移到yolov8基本上会不起效,这里面我觉得是哪些前提鲜有人闻。总之,检测蒸馏有好用的论文,欢迎大家都推一推,目前检测蒸馏现有方法都不太理想。
@wangtao2668129173 大佬,您现在yolov8蒸馏搞得咋样,想跟您学习下
实验结果在VOC 数据集非常有效,但是coco 只对精准度有用,整体指标提升没有VOC明显。还有就是目前yolov8 检测器参数量比起mmdetection 检测模型还不太够,能起效的方法其实并不多。以及rtmdet 、damoyolo 有些蒸馏方法为啥起效其实迁移到yolov8基本上会不起效,这里面我觉得是哪些前提鲜有人闻。总之,检测蒸馏有好用的论文,欢迎大家都推一推,目前检测蒸馏现有方法都不太理想。
大佬我加你微信了