参数冻结
Opened this issue · 1 comments
roydcai commented
你好,我现在在尝试微调这个代码,但是在modeling_blip2rwkv.py脚本下似乎没有看到冻结相关的内容,请问是否可以说明一下更多训练细节,万分感谢
StarRing2022 commented
你好,冻结就是基于RWKV 3B已有预训练模型(不改变参数,也不进行微调)而构造一个上层模型对图片进行编码,在代码的关键点3处可以看见
Opened this issue · 1 comments
你好,我现在在尝试微调这个代码,但是在modeling_blip2rwkv.py脚本下似乎没有看到冻结相关的内容,请问是否可以说明一下更多训练细节,万分感谢
你好,冻结就是基于RWKV 3B已有预训练模型(不改变参数,也不进行微调)而构造一个上层模型对图片进行编码,在代码的关键点3处可以看见