您好 想问一下在使用bert embedding时候,维度怎么和其他词向量拼接的呀
xuanzebi opened this issue · 3 comments
xuanzebi commented
比如bert embedding 是768 维
glove 是300维
然后想问一下你是怎么对齐的呀
谢谢~
xuanzebi commented
补充一下问题:
看了论文 还想问一下 Charater-aware word embeddings Pre-trained word embeddings Global Contextual Embedding 这些词向量的维度是怎么对齐的呀。是直接相加吗还是什么呢
最后对齐后 输入给lstm的维度是多少呀
Adaxry commented
你好,我们通过拼接多项词向量组成RNN的输入,更具体地:[char; glove; bert; global_emb],对应地维度分别是128,300,768,256,即输入给RNN的维度是1452。更多细节可参考我们的代码:
GCDT/thumt/models/rnnsearch.py
Line 322 in 07e9137
xuanzebi commented
好滴 感谢