问个很弱的问题,我想咨询下,要做到你那个效果基本需要什么显卡,需要多少台服务器支撑
Closed this issue · 3 comments
flyowl commented
看起来反应挺快
little51 commented
用到的两个模型,参数量为6B和7B,最低要求是P100或T4这种16G的显卡,因为装载模型大约需要12G,运行过程中大约占12G ~ 15G左右的显存。如果只是用一个模型,需要4C + 32G + GPU(16G)的一台机器即可。
little51 commented
然后再根据并发请求的情况扩容,一般的服务器,可要电源超过750W,可以装两块P100。
flyowl commented
用到的两个模型,参数量为6B和7B,最低要求是P100或T4这种16G的显卡,因为装载模型大约需要12G,运行过程中大约占12G ~ 15G左右的显存。如果只是用一个模型,需要4C + 32G + GPU(16G)的一台机器即可。
那这种一般能供应多少用户同时使用,每秒能支撑的用户数使用这块有研究没,有微信没,加个,咨询一下大佬