predict接口 cpu下推理速度比GPU下快
STHSF opened this issue · 1 comments
STHSF commented
请教一个问题，predict.py代码在cpu下的性能压测竟然比GPU下快，不知道楼主有没有遇到过，谢谢。
stanleylsx commented
请教一个问题，predict.py代码在cpu下的性能压测竟然比GPU下快，不知道楼主有没有遇到过，谢谢。
predict_one函数是单个单个的处理每个句子，每个句子处理在CPU，然后输入模型的batch_size是1，GPU利用效率不高，这个接口是用来简单测试模型效果的，不建议作为预测接口使用哈。
如果需要线上部署，建议保存为pb格式然后使用tf-servering提供服务。