/NBCE

Naive Bayes-based Context Extension

Primary LanguagePython

[中文|English]

Naive Bayes-based Context Extension

使用朴素贝叶斯**来扩展LLM的Context处理长度。

现在，任何LLM都可以利用NBCE成为可以处理任意长Context的模型了（只要算力足够）！

简介

基于朴素贝叶斯所启发的公式：

细节请看博客：https://kexue.fm/archives/9617

所给的Demo包含12段不同的Context，总长度为9000多字，连同8个问题一次性输入到模型中（测试模型训练长度为2048，参数量为7B，可以在OpenBuddy下载），模型能够逐一根据所给Context正确回答这8个问题。值得指出的是，所有的Context、问题和答案加起来，超过了1万字！另外，有朋友简单尝试了简历匹配和作文打分应用，效果也尚可，非常建议大家亲自调试一下。

最新测试结果：在8*A800下，7B模型可以处理50k的context，并能正确地做阅读理解。(没有用完所有GPU，大概消耗160G显存）

特点

  • 即插即用
  • 模型无关
  • 不用微调
  • 线性效率
  • 实现简单
  • 效果尚可
  • 可解释性

引用

@misc{nbce2023,
  title={Naive Bayes-based Context Extension},
  author={Jianlin Su},
  year={2023},
  howpublished={\url{https://github.com/bojone/NBCE}},
}

交流

QQ交流群：808623966，微信群请加机器人微信号spaces_ac_cn