StarRing2022/ChatGPTX-Uni
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案,LLM-Base+LLM-X+Alpaca,初期,LLM-Base为Chatglm6B底座模型,LLM-X是LLAMA增强模型。该方案简易高效,目标是使此类语言模型能够低能耗广泛部署,并最终在小模型的基座上发生“智能涌现”,力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当前可以满足总结、提问、问答、摘要、改写、评论、扮演等各种需求。
PythonGPL-3.0
Issues
- 0
参见《zero-lora零训练llm调参算法》,思路差不多
#8 opened by ziwang-com - 3
- 1
zero finetuning思路有问题
#6 opened by Doraemon20190612 - 3
- 7
不同的模型(LLAMA-7B和chatGLM)是如何实现lora融合的
#4 opened by franklyd - 2
13b和 6b 特征size都不一样 lora 怎么能复用额
#2 opened by Chenzongchao - 1
建议贴一些和其他模型的对比示例
#3 opened by HongyuJiang - 1
想法挺有意思的,期待后续结果
#1 opened by rayvzn119