/MiniQwen

Primary LanguageCOtherNOASSERTION

MiniQwen

license: apache-2.0

  • llama.cpp+Qwen1.8B,并使用QT搭建一个建议客户端。
  • 简化调用代码复杂度,专供Qwen使用
  • 内存占用在1.3GB
  • i5-12600K CPU上4线程可以达到14-15token/s。对终端设备非常友好。

teaser_b