问个很弱的问题，我想咨询下，要做到你那个效果基本需要什么显卡，需要多少台服务器支撑
Closed this issue · 3 comments
flyowl commented
看起来反应挺快
little51 commented
用到的两个模型，参数量为6B和7B，最低要求是P100或T4这种16G的显卡，因为装载模型大约需要12G，运行过程中大约占12G ~ 15G左右的显存。如果只是用一个模型，需要4C + 32G + GPU（16G）的一台机器即可。
little51 commented
然后再根据并发请求的情况扩容，一般的服务器，可要电源超过750W，可以装两块P100。
flyowl commented
用到的两个模型，参数量为6B和7B，最低要求是P100或T4这种16G的显卡，因为装载模型大约需要12G，运行过程中大约占12G ~ 15G左右的显存。如果只是用一个模型，需要4C + 32G + GPU（16G）的一台机器即可。
那这种一般能供应多少用户同时使用，每秒能支撑的用户数使用这块有研究没，有微信没，加个，咨询一下大佬