imcaspar/gpt2-ml

Bert 词汇表[Discussion] your question

QiuSYang opened this issue · 1 comments

QiuSYang commented

15G语料库使用BERT 21128大小的词汇表训练出来的1.5B参数预训练模型，使用的config文件是哪个，我看了项目提供的三个config文件没有一个vocab_size的大小等于21128，还是说作者就是使用bert config。希望作者可以回答，万分感谢。