纯c++的全平台llm加速库，支持python调用，支持chatglm-6B, llama, baichuan, moss基座，x86 / ARM
Primary LanguageC++Apache License 2.0Apache-2.0