Monalissaa/DisenDiff

请问代码中将new token以外的词的token_embedding冻结住的部分在哪里,还是说所有的token_embedding都重新训练了呢

Dumeowmeow opened this issue · 2 comments

请问代码中将new token以外的词的token_embedding冻结住的部分在哪里,还是说所有的token_embedding都重新训练了呢

没有冻结,是在计算的时候把其他token_embedding的梯度detach了,所以也只是训练了new token,详见 here ,这种方式是与custom diffusion一致的。

没有冻结,是在计算的时候把其他token_embedding的梯度detach了,所以也只是训练了new token,详见 here ,这种方式是与custom diffusion一致的。

谢谢您,我的互联网恩师。