是否计划支持多gpu负载，是否计划实现兼容chatgpt的api，是否计划采用某种量化机制？
Closed this issue · 3 comments
appleatiger commented
如题。
cryscan commented
计划先实现兼容ChatGPT的API（会是另外的repo）以及量化，再考虑多GPU。
kknd222 commented
大佬坐等API啊，没有API现在只能命令行操作
cryscan commented
大佬坐等API啊，没有API现在只能命令行操作