HikariTJU/LD

耦合头效果怎么样

Opened this issue · 6 comments

huangjun12 commented

请问下 LD蒸馏有在耦合头上实验过效果吗？如TAL

HikariTJU commented

没做过

Python-Eric commented

@huangjun12 请问您有进行相应的实验么？能够分享一下实验结果么

huangjun12 commented

这边在PPYOLOE+实验过，mainKD有效，mainLD没有调出效果

Python-Eric commented

@huangjun12 你当时是如何设置相关参数的，可否交流一下？我的结果是和你相反，LD有效，KD无效...

huangjun12 commented

@Python-Eric 你的weight和T怎么设置的呢

Python-Eric commented

@Python-Eric 你的weight和T怎么设置的呢

修改了蒸馏损失函数里的avg_factor，权重和温度是做了挺多实验，KD没有调出效果，具体的话，可方便加个qq吗，沟通一下(413957870)