liuwei1206/LEBERT

词向量作用小

Closed this issue · 0 comments

hello,最近在复现你们工作的时候发现词向量的影响可能不是特别的大,主要有以下两点疑问希望得到解答,谢谢。

1.发现词向量的值过小,加权融合后对BERT模型本身的字向量的输出影响较小,具体测试的方式尝试了改变不同的字匹配到的词,加了一些噪音,发现对模型最后的分类结果没有产生太大的差别

2.腾讯词向量的噪音样本很大,如何解决那些匹配不到词的问题呢