JayYip/m3tl

如何进行推理?

GinkgoX opened this issue · 1 comments

您好,请问训练好的权重可以单独拿出来做成推理服务,提供推理接口吗?

可以的,具体预测的实现可以参考

https://github.com/JayYip/bert-multitask-learning/blob/d1f7defd6f68f7f45641123eaf295f7620cc46e2/bert_multitask_learning/run_bert_multitask.py#L397

如果要存成SavedModel来推理的话可能需要一些模型改动。