是否计划支持多gpu负载,是否计划实现兼容chatgpt的api,是否计划采用某种量化机制?
Closed this issue · 3 comments
appleatiger commented
如题。
cryscan commented
计划先实现兼容ChatGPT的API(会是另外的repo)以及量化,再考虑多GPU。
kknd222 commented
大佬坐等API啊,没有API现在只能命令行操作
cryscan commented
大佬坐等API啊,没有API现在只能命令行操作