/HF-For-RWKVRaven-Alpaca

将RWKV Raven/Pile/PilePlus系列模型由原生pth转为HF格式,并进行Alpaca全量微调。

Primary LanguagePythonApache License 2.0Apache-2.0

HF-For-RWKVRaven-Alpaca

将RWKV Raven/Pile/PilePlus系列模型由原生pth转为HF格式(这三种模型的词表及tokenizer一致,推荐V11或V12的Raven版本),并进行Alpaca全量微调。

环境:WIN10+Torch1.31+Cuda11.6

代码说明:
configuration_rwkv.py:RWKV模型的配置
convert_rwkv_checkpoint_to_hf.py:RWKV的原生pth格式转为HF格式
generate.py:使用HF的RWKV模型架设服务
hello.py:测试HF的RWKV模型
modeling_rwkv.py:RWKV模型的网络结构
alpacatrain.py:使用test.json的alpaca全量微调模型
alpacatest.py:测试alpaca全量微调模型

一个基于RWKV-430M-Pile的Alpaca全量微调范例(2条数据,1个epoch,仅测试):
HF开源地址:
https://huggingface.co/StarRing2022/RWKV-430M-Pile-Alpaca/

一个RWKV-4-Raven-3B-v11-Eng49%-Chn49%的原生pth格式转为HF格式范例:
https://huggingface.co/StarRing2022/RWKV-4-Raven-3B-v11-zh/