关于 Reverse Self-Distillation
Closed this issue · 3 comments
vk-rrr commented
您好，请问在 Reverse Self-Distillation 时，是如何对齐学生与教师特征的通道数？
AnAppleCore commented
我们在得到每个学生的feature_map之后，加入了降采样的辅助downsampling convolution，一边降低feature map的空间维度大小，一边提升channel数量。具体代码请参考./models/Resnet18_SD.py中的DownConv和_make_feature_layer。
vk-rrr commented
好的，感谢您的解答
AnAppleCore commented
希望对你有所帮助 ;)