本项目旨在实现将ChatGLM3-6B模型部署在Mac M1/2/3系列处理器上进行推理,代码核心部分来自ChatGLM3。
配置要求:
-
MacOS,处理器为M系列
-
12GB以上内存。
🚀迭代计划:
- 增加基于fastapi的推理API脚本
- 增加Docker部署
方式一:git下载(需要安装git lfs):
git lfs install
git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git
方式二:浏览器下载:
访问ChatGLM3-6b,将每个文件全部下载下来。
其他权重下载同理:ChatGLM3-6b-32k|ChatGLM3-6b-base
pip install -r requirements.txt
将下载好的文件移动到checkpoint_chatglm3_6b
文件夹中,然后:
【Gradio】
python web_demo_gradio.py
【StreamLit】
streamlit run web_demo_streamlit.py
【命令行】
python cli_demo.py
- ChatGLM3:https://swanhub.co/ZhipuAI/ChatGLM3