NiuTrans/NiuTrans.NMT

训练好的模型如何部署

Closed this issue · 5 comments

如题,想把训练好的模型部署成WEB-API,请问有什么好的建议。

转发:
短期内如果想实现web服务,可以把我们Translator类中的Translate函数进行改造,将原本的文件输入修改为字符串输入,之后可以将Init、Translate和销毁函数封装成接口给java web或python web等服务调用。

另外,我们最近1-2个月内也会封装一个web服务demo供大家使用。

请问web服务的部分现在有推出吗?类似Microsoft marian那种的

@huchinlp 您好,请问目前进展怎么样了,还有更新的计划吗?

@huchinlp 您好,请问目前进展怎么样了,还有更新的计划吗?

谢谢关注!我们会在上半年对项目进行较大的更新,包括多卡训练和部署服务,优化性能和易用性。