关于微调损失函数
Opened this issue · 1 comments
D-W-Y commented
我发现微调时损失函数只计算分类损失,而不计算重建损失,这是为什么呢?期望您的回答,非常感谢!
censhallwe commented
微调阶段的训练任务是完成动作分类,不需要重建,是没有解码器参与的,类似于Vision Transformer完成图片分类,只需要用分类损失训练编码器就行。预训练阶段的训练任务是重建RGB帧,编解码器都参与训练,目的是得到一个较优的编码器预训练权重,这样在后续微调阶段用这个预训练好的模型可以更好地完成训练。你也可以看一下其他自监督预训练模型的流程,比如何恺明老师的MAE。