词向量作用小
Closed this issue · 0 comments
chuckhope commented
hello,最近在复现你们工作的时候发现词向量的影响可能不是特别的大,主要有以下两点疑问希望得到解答,谢谢。
1.发现词向量的值过小,加权融合后对BERT模型本身的字向量的输出影响较小,具体测试的方式尝试了改变不同的字匹配到的词,加了一些噪音,发现对模型最后的分类结果没有产生太大的差别
2.腾讯词向量的噪音样本很大,如何解决那些匹配不到词的问题呢
Closed this issue · 0 comments
hello,最近在复现你们工作的时候发现词向量的影响可能不是特别的大,主要有以下两点疑问希望得到解答,谢谢。
1.发现词向量的值过小,加权融合后对BERT模型本身的字向量的输出影响较小,具体测试的方式尝试了改变不同的字匹配到的词,加了一些噪音,发现对模型最后的分类结果没有产生太大的差别
2.腾讯词向量的噪音样本很大,如何解决那些匹配不到词的问题呢