Pinned Repositories
AgentsChainer-ALM
由RWKV\Fay\Wenda等多方联合打造的一体型高度拟人心智化的智能体工程,拥有与生物智能相似的脑神经科学结构原理机制与学习认知规律,同时是一款可用于研究各种人体或类人体行为及心理的模拟器,当前版本为ALM版,即Automatic learning machine
ChatGPTX-Uni
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案,LLM-Base+LLM-X+Alpaca,初期,LLM-Base为Chatglm6B底座模型,LLM-X是LLAMA增强模型。该方案简易高效,目标是使此类语言模型能够低能耗广泛部署,并最终在小模型的基座上发生“智能涌现”,力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当前可以满足总结、提问、问答、摘要、改写、评论、扮演等各种需求。
Dlip-RWKV
一种基于Clip改进的,通用HF格式的冻结LLM语言模型进行图文对齐的方案,以RWKV-4-World-0.4B的LLM模型为例,Cifar10为数据集。
HF-For-RWKVRaven-Alpaca
将RWKV Raven/Pile/PilePlus系列模型由原生pth转为HF格式,并进行Alpaca全量微调。
HF-For-RWKVWorld-LoraAlpaca
将RWKV World/World-CHN系列模型由原生pth转为HF格式,并进行基于peft库的Lora增量微调+Alpaca全量微调。
LlamaEndside
以GGUF模型为标准格式,llama cpp为底层,安卓为示例系统,实现高效端侧大模型设备部署
MiLu-GPT
麋鹿(MiLu),基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力
MiniRWKV-4
实现Blip2RWKV+QFormer的多模态图文对话大模型,使用Two-Step Cognitive Psychology Prompt方法,仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4,ImageBind等图文对话大语言模型,力求以更小的算力和资源实现更好的智能效果。
MultiModal-Next-Web
一键拥有你自己的跨平台 多模态上传文档+文本+语音ChatGPT 应用,支持PC/移动/平板等诸多平台。
RingRWKV
修复Transformer官方库中RWKV的适配问题,支持RWKV所有系列模型在转换后,通过RingRWKV库,与其他transfomer模型一样简单方便地部署和微调。
StarRing2022's Repositories
StarRing2022/ChatGPTX-Uni
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案,LLM-Base+LLM-X+Alpaca,初期,LLM-Base为Chatglm6B底座模型,LLM-X是LLAMA增强模型。该方案简易高效,目标是使此类语言模型能够低能耗广泛部署,并最终在小模型的基座上发生“智能涌现”,力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当前可以满足总结、提问、问答、摘要、改写、评论、扮演等各种需求。
StarRing2022/MiniRWKV-4
实现Blip2RWKV+QFormer的多模态图文对话大模型,使用Two-Step Cognitive Psychology Prompt方法,仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4,ImageBind等图文对话大语言模型,力求以更小的算力和资源实现更好的智能效果。
StarRing2022/RingRWKV
修复Transformer官方库中RWKV的适配问题,支持RWKV所有系列模型在转换后,通过RingRWKV库,与其他transfomer模型一样简单方便地部署和微调。
StarRing2022/AgentsChainer-ALM
由RWKV\Fay\Wenda等多方联合打造的一体型高度拟人心智化的智能体工程,拥有与生物智能相似的脑神经科学结构原理机制与学习认知规律,同时是一款可用于研究各种人体或类人体行为及心理的模拟器,当前版本为ALM版,即Automatic learning machine
StarRing2022/HF-For-RWKVWorld-LoraAlpaca
将RWKV World/World-CHN系列模型由原生pth转为HF格式,并进行基于peft库的Lora增量微调+Alpaca全量微调。
StarRing2022/MiLu-GPT
麋鹿(MiLu),基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力
StarRing2022/LlamaEndside
以GGUF模型为标准格式,llama cpp为底层,安卓为示例系统,实现高效端侧大模型设备部署
StarRing2022/Dlip-RWKV
一种基于Clip改进的,通用HF格式的冻结LLM语言模型进行图文对齐的方案,以RWKV-4-World-0.4B的LLM模型为例,Cifar10为数据集。
StarRing2022/HF-For-RWKVRaven-Alpaca
将RWKV Raven/Pile/PilePlus系列模型由原生pth转为HF格式,并进行Alpaca全量微调。
StarRing2022/MultiModal-Next-Web
一键拥有你自己的跨平台 多模态上传文档+文本+语音ChatGPT 应用,支持PC/移动/平板等诸多平台。