Opened this issue a year ago · 2 comments
你好,我无法找到文件: data_path=/wjn/nlp_task_datasets/kg-pre-trained-corpus/total_pretrain_kgicl_gpt,感觉看的有点模糊,麻烦指个路,谢谢!
您好,这个数据对应的工作还在投中,所以暂未开源。数据格式本质上和gpt的训练语料一样。
是指预训练阶段的语料(wudao,pile),一堆txt文件,每个文件里每行就是一句话这种吗?