QJShan opened this issue a year ago · 1 comments
我发现在构造输入输出时候添加了很多标志位。 例如bos,eos,pad等 其上三者都知道其用处，但是对于[gmask]和[sop]的用处是什么，我通过阅读代码的整个流程也没弄明白，求指点一二
GLM-1时候引入的，预训练还是会有用到prefix-LM，【sMASK】,【gMASK】,【sop】，【eop】。预训练做MLM、PLM......任务的