Mình sử dụng model này bằng CPU được không bạn ơi?
dinhan92 opened this issue · 4 comments
dinhan92 commented
Mình thấy hướng dẫn là dùng CUDA, mình chạy model này bằng CPU được không bạn? Cấu hình phải như thế nào mới chạy ngon ạ?
phumaster commented
bỏ cuda thay bằng cpu thì k chạy đc :(
vinhmdev commented
Tôi cũng vậy, không dùng cpu được
phatjkk commented
Hầu hết các mô hình ngôn ngữ cần chạy trên GPU bạn nha, CPU sẽ không chạy nổi đâu.
datquocnguyen commented
Yes, you might want to use https://github.com/ggerganov/llama.cpp that supports "MPT"-type model, including PhoGPT.