您好，有关teacher模块和student模块的问题
famt0531 opened this issue · 3 comments
famt0531 commented
Q1:在源代码中，teacher模块和student模块结构一样，输入不一样，最近我看到了有些方法也使用了您的知识蒸馏。比如DQBC，它的教师模块延用了您的教师模块，但是网络主干是它自己设计的，这样的不同的设计结构不会影响性能吗。
Q2:我也稍微了解了一下知识蒸馏，往往教师模块要更复杂一些，学生模块反而更简单，在RIFE中，教师模块的参数量却较少，请问为何要这样设计呢
hzwer commented
我最初的发现是用 raft 生成光流标签可以加速学习，之后发现其实只要灌了中间帧，似乎都能学出一个比插帧网络好的光流
至于怎么设计性能好，是个有些玄学的工程问题；有可能只是类似于 deep supervision 所以好
我理解教师模块是在学生模块上继续修正的，所以并没有更简单
famt0531 commented
好的感谢
Ofrila commented
我最初的发现是用 raft 生成光流标签可以加速学习，之后发现其实只要灌了中间帧，似乎都能学出一个比插帧网络好的光流 至于怎么设计性能好，是个有些玄学的工程问题；有可能只是类似于 deep supervision 所以好 我理解教师模块是在学生模块上继续修正的，所以并没有更简单
可以问一下使用raft生成光流标签时的一些细节吗？raft得到的光流是怎么去监督模型预测的光流的呢