HikariTJU/LD

如何蒸馏自定义模型

Closed this issue · 3 comments

尊敬的作者,您好!我认为你们的工作十分的有意义。
我想请教一下,我有自己使用mmdetection实现的两个模型,这里称为A和B吧。
我想使用你们的方法,尝试一下我用A作teacher,B作student,能否提升B的性能,我该如何调用你们的程序实现这件事情呢?
由于在知识蒸馏方面,我的了解比较少,希望您可以不吝赐教,十分感谢!

你只能自己写新的代码实现这件事,我们的代码起参考作用

本方法适合transformer模型间的蒸馏吗?

理论上可以,但是没有经过实验验证,所以我也不能肯定地说可以