CLUEbenchmark/CLUEPretrainedModels

关于RoBERTa pair的预训数据构造形式

songt96 opened this issue · 1 comments

songt96 commented

您好：
1、RoBERTa pair的预训数据的构造形式是什么样的？和普通的RoBERTa有什么差别？
2、后续会开放在clue vocab上预训练的，base版的BERT及RoBERTa模型权重吗？
谢谢！

zhanlaoban commented

同问