模型加载及Windows环境测试情况反馈
wikeeyang opened this issue · 4 comments
由于之前测试过 OpenCodeInterpreter 项目，本项目的 Python 环境要求，与 OpenCodeInterpreter 项目一致，所以部署测试很快。
本人环境：Windows 11 x64，CPU 64GB，GPU 24GB。Python 3.10.13、CUDA 11.8、Pytorch 2.1.0 等。
下载 AutoCoder_S_6.7B 模型，在原 OpenCodeInterpreter 的 Python 环境跑测试：
python chatbot-me.py --path checkpoints/AutoCoder_S_6.7B
模型加载后，显存就占到了 23690MiB / 24576MiB，一对话，显存立马爆了。在 code_interpreter/AutoCoderInterpreter.py 脚本中，添加 torch_dtype=torch.float16 模型加载参数后，模型加载占用 13649MiB / 24576MiB，基本正常，可对话。但是：
- 模型现在只支持英文对话？原来 OpenCodeInterpreter-DS-6.7B 模型是支持中文对话的。
- 模型验证生产的脚本，只能用 Docker 来跑？所以，适合 Linux 环境，Windows 环境只能 WSL2 来跑，纯 Windows 环境估计不行了？
Web Chat 界面如下：
我之前测试过 OpenCodeInterpreter 项目，知道 Windows 平台因为用户权限和目录结构等问题，直接进行 Code Interpreter 很多时候是不行的，如果在 Linux 环境 root 用户下，就可以进行更多的操作。
不知以上理解是否正确，请大佬指导，谢谢！
谢谢您的反馈！我sft阶段用的数据99%都是英文，目前直接用中文应该效果不太行。然后Code Interpreter之前OpenCodeInterpreter应该是本地环境直接运行的，现在这个AutoCoder主要是考虑每次可能要安装外接的一些包，所以用Docker创一个隔离的环境, 这样也安全一些。
感谢您的快速反馈！我看了一下脚本，有些地方还不太理解，请问：Docker container 是每次启动对话会重新创建吗？还是说只要环境中存在，就能重复使用？大佬的这个想法很好，这也是我第一时间跟着尝试和学习大佬项目的原因之一。通过容器的方式进行隔离，安全性自然会好很多，OpenCodeInterpreter 是直接在本地环境运行代码，所以，有些脚本不敢尝试。。。
我会尽快找个 Linux 环境重新部署一下，继续跟着学习。。。
Docker container每次对话重新创建, 用完之后自动删掉。大家互相学习^_^ ~
点赞！谢谢！继续跟大佬学习。。。