期待线性attention加unilm式的预训练模型
Closed this issue · 2 comments
JaheimLee commented
如题！这个预训练模型出来，别的不说，大部分nlp任务都可以用它先跑个baseline：）
bojone commented
线性attention配unilm有点难，通常是做单向语言模型，而且做单向语言模型的时候还需要转为rnn（做unilm也得转rnn）。
具体细节请参考 https://kexue.fm/archives/7546 中的“自回归生成”一节
JaheimLee commented
期待苏神以后攻克这个问题~