Zeyi-Lin/ChatGLM3-6B-AppleSilicon

ChatGLM3-6B在苹果M系列芯片上进行推理和Demo的代码项目。

ChatGLM3-6B-AppleSilicon

本项目旨在实现将ChatGLM3-6B模型部署在Mac M1/2/3系列处理器上进行推理，代码核心部分来自ChatGLM3。

配置要求：

• MacOS，处理器为M系列

• 12GB以上内存。

🚀迭代计划：

• 增加基于fastapi的推理API脚本
• 增加Docker部署

🔥使用流程

1.下载ChatGLM3-6B权重

方式一：git下载（需要安装git lfs）：

git lfs install
git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git

方式二：浏览器下载：

访问ChatGLM3-6b，将每个文件全部下载下来。

其他权重下载同理：ChatGLM3-6b-32k｜ChatGLM3-6b-base

2.安装依赖环境

pip install -r requirements.txt

3.启动Demo

将下载好的文件移动到checkpoint_chatglm3_6b文件夹中，然后：

【Gradio】

python web_demo_gradio.py

【StreamLit】

streamlit run web_demo_streamlit.py

【命令行】

python cli_demo.py

📔相关链接

• ChatGLM3：https://swanhub.co/ZhipuAI/ChatGLM3