BenfengXu/SSAN

请问predict_thresh的值是怎么确定的?

Closed this issue · 2 comments

(predict.sh)
predict_thresh=0.46544307

根据模型在Dev上的结果得到的。
请在Dev上运行Evaluation,即可输出最佳的predict_thresh(log中会打印),以及与之对应的Dev指标。
当你训练完你的ckpt之后,也需要在predict.sh中做相应的修改。

(predict.sh) predict_thresh=0.46544307

计算threshold的过程是一个比较巧妙的过程,它不是一个人为定义的超参。作者的**是:step1.先对所有的logits进行一个从大到小的排序(这里的每个位置的logits值就可能是threshold的取值),step2.依次计算每个位置的precision,recall,f1。step3.最后找出最大的f1值,这样就可以得到全局最优的threshold