Colab: https://colab.research.google.com/drive/1tJcfPyWGWA5HezO7GKLeyeIso0HyOc0l?usp=sharing
- HuggingFace SFT / DPO (bf16/float32)
- vllm (WIP)
WIP
构建运行环境:
docker build -t soulteary/minicpm:hf . -f docker/Dockerfile.hf
如果你希望更快一些,可以配置国内镜像来做加速:
docker build --build-arg=USE_CHINA_MIRROR=true -t soulteary/minicpm:hf . -f docker/Dockerfile.hf
简单运行:
docker run --rm -it -p 7860:7860 --gpus all --ipc=host --ulimit memlock=-1 -v `pwd`/models:/app/models soulteary/minicpm:hf python app.py --model_path=./models/OpenBMB/MiniCPM-「具体模型型号」/ --server_name=0.0.0.0
更高效运行,运行 float32 版本的 HF 模型。
docker run --rm -it -p 7860:7860 --gpus all --ipc=host --ulimit memlock=-1 -v `pwd`/models:/app/models soulteary/minicpm:hf python app.py --model_path=./models/OpenBMB/MiniCPM-2B-dpo-fp32/ --server_name=0.0.0.0 --torch_dtype=float32