预训练DCN的数据集问题
Yang-HangWA opened this issue · 2 comments
Yang-HangWA commented
论文中的最好表现是需要在wiki data上预训练，这部分预训练具体是咋做的，数据是哪些，可以答疑解惑一下么。。
destwang commented
预训练是选取了一部分维基百科数据构造伪数据做的预训练，和正式训练流程差不多。这两周我整理更新一下预训练部分代码和数据。
Yang-HangWA commented
@destwang 好的，谢谢啦