Adaxry/GCDT

您好 想问一下在使用bert embedding时候,维度怎么和其他词向量拼接的呀

xuanzebi opened this issue · 3 comments

比如bert embedding 是768 维

glove 是300维

然后想问一下你是怎么对齐的呀

谢谢~

补充一下问题:
看了论文 还想问一下 Charater-aware word embeddings Pre-trained word embeddings Global Contextual Embedding 这些词向量的维度是怎么对齐的呀。是直接相加吗还是什么呢

最后对齐后 输入给lstm的维度是多少呀

你好,我们通过拼接多项词向量组成RNN的输入,更具体地:[char; glove; bert; global_emb],对应地维度分别是128,300,768,256,即输入给RNN的维度是1452。更多细节可参考我们的代码:

src_inputs = tf.concat([concat_inputs, global_emb], -1)

好滴 感谢