beyondguo/label_confusion_learning

20NG的这个数据集，跑bert

Closed this issue · 5 comments

aiainui commented

大佬，我跑了下bert with lcm，发现测试集效果始终徘徊在82左右，而论文中都在88以上，这个有没有什么我没有注意到的地方呢？比如，lcm_stop=10？预训练模型选取，α=4？等呢。

beyondguo commented

a=4, wvdim=128, lcm_stop=50, 然后使用的bert-tiny，你试试？我本地的log里面记录的差不多都是0.87~0.89的范围。你可以先不要test set，就是用train和val看看val上的曲线

aiainui commented

a=4, wvdim=128, lcm_stop=50, 然后使用的bert-tiny，你试试？我本地的log里面记录的差不多都是0.87~0.89的范围。你可以先不要test set，就是用train和val看看val上的曲线

好的，好的。👍

chosenone75 commented

@aiainui 请问一下 在20NG这个数据集上你可以复现论文中 LSTM的结果吗

chosenone75 commented

a=4, wvdim=128, lcm_stop=50, 然后使用的bert-tiny，你试试？我本地的log里面记录的差不多都是0.87~0.89的范围。你可以先不要test set，就是用train和val看看val上的曲线

请问可以提供一下LSTM-rand对应的参数吗 按照开源代码的默认参数 我这边的实验结果测试集稳定在55左右

aiainui commented

a=4, wvdim=128, lcm_stop=50, 然后使用的bert-tiny，你试试？我本地的log里面记录的差不多都是0.87~0.89的范围。你可以先不要test set，就是用train和val看看val上的曲线

请问可以提供一下LSTM-rand对应的参数吗 按照开源代码的默认参数 我这边的实验结果测试集稳定在55左右

LSTM我没跑诶，bert的超参我就用的是上面作者所说的参数。