请问代码中将new token以外的词的token_embedding冻结住的部分在哪里,还是说所有的token_embedding都重新训练了呢
Dumeowmeow opened this issue · 2 comments
Dumeowmeow commented
请问代码中将new token以外的词的token_embedding冻结住的部分在哪里,还是说所有的token_embedding都重新训练了呢
Monalissaa commented
没有冻结,是在计算的时候把其他token_embedding的梯度detach了,所以也只是训练了new token,详见 here ,这种方式是与custom diffusion一致的。
Dumeowmeow commented
没有冻结,是在计算的时候把其他token_embedding的梯度detach了,所以也只是训练了new token,详见 here ,这种方式是与custom diffusion一致的。
谢谢您,我的互联网恩师。