请问下有官方量化版本的模型推出吗，例如GPTQ AWQ的

[lichtud]

请问下有官方量化版本的模型推出吗，例如GPTQ AWQ的

[HoratioJSY]

暂时不会提供量化版权重，建议直接使用 Huggingface transformers 库带有的量化选项，例如 bitsandbytes 等进行量化推理。