参数冻结
Opened this issue · 1 comments
roydcai commented
你好，我现在在尝试微调这个代码，但是在modeling_blip2rwkv.py脚本下似乎没有看到冻结相关的内容，请问是否可以说明一下更多训练细节，万分感谢
StarRing2022 commented
你好，冻结就是基于RWKV 3B已有预训练模型（不改变参数，也不进行微调）而构造一个上层模型对图片进行编码，在代码的关键点3处可以看见
Opened this issue · 1 comments
你好，我现在在尝试微调这个代码，但是在modeling_blip2rwkv.py脚本下似乎没有看到冻结相关的内容，请问是否可以说明一下更多训练细节，万分感谢
你好，冻结就是基于RWKV 3B已有预训练模型（不改变参数，也不进行微调）而构造一个上层模型对图片进行编码，在代码的关键点3处可以看见