taishan1994/OneRel_chinese

通过调参完成oneRel微调优化

Opened this issue · 1 comments

我理解oneRel是基于一个基本的transformer 模型,例如bert, 再加上一层triple打分的机制工作的。
而在平时用bert 类模型时,weight_decay, learning_rate之类参数都会影响模型表现。
oneRel中存不存在,或者如何实现hyperparameter optimisation

这个看你训练时候的日志,根据loss进行调参。