CMP源码申请下载为什么只有large参数模型，为什么没有CPM-small&CPM-medium，你用的small参数模型在哪下载的
MaNing1924382115 opened this issue · 4 comments
MaNing1924382115 commented
1、CMP源码申请下载为什么只有large参数模型，为什么没有CPM-small&CPM-medium，你用的small参数模型在哪下载的吗？
2、你代码中config文件下的CPM-small&CPM-medium json文件是你自己写的还是在哪下载的？
谢谢
yangjianxin1 commented
分享的模型参数不是CPM官方的，是自己使用作文数据集从头开始训练的。CPM本质上是中文版的GPT2模型，config文件夹下的模型配置文件是使用huaggingface
xiewenqian commented
“本项目是基于CPM模型的中文文本生成项目”？
rattlesnakey commented
请问这个 zuowen_epoch40 的模型，是官方放出来的CPM 模型还是你自己从头训练的呀？
liangzz1991 commented
我理解就是用了CPM的config和tokenier（其实也是gpt2），作者利用中文数据从头训练作文生成模型，所以也就跟cpm提供的模型关系不大，我刚开始也认为作者是finetune的cpm....一直在cpm官网找对应的pretrain