PTMs: Pre-trained-Models in NLP

NLP预训练模型的全面总结(持续更新中)

置顶

知乎文章1: 全面总结!PTMs:NLP预训练模型 ➡️➡️ 图片下载

知乎文章2:nlp中的预训练语言模型总结

知乎文章3:nlp中的词向量对比

1、论文汇总:

PTMs-Papers:

  1. https://github.com/thunlp/PLMpapers
  2. https://github.com/tomohideshibata/BERT-related-papers
  3. https://github.com/cedrickchee/awesome-bert-nlp
  4. https://bertlang.unibocconi.it/
  5. https://github.com/jessevig/bertviz

2. PTMs单模型解读

  1. 自监督学习:Self-Supervised Learning 入门介绍
  2. 自监督学习:Self-supervised Learning 再次入门
  3. 词向量总结:nlp中的词向量对比:word2vec/glove/fastText/elmo/GPT/bert
  4. 词向量总结:从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
  5. ELMo解读:关于ELMo的若干问题整理记录
  6. BERT解读: Bert时代的创新:Bert应用模式比较及其它
  7. XLNET解读:XLNet:运行机制及和Bert的异同比较
  8. XLNET解读:XLnet:比Bert更强大的预训练模型
  9. RoBERTa解读:RoBERT: 没错,我就是能更强——更大数据规模和仔细调参下的最优BERT
  10. 预训练语言模型总结:nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)
  11. 预训练语言模型总结:8篇论文梳理BERT相关模型进展与反思
  12. ELECTRA解读: ELECTRA: 超越BERT, 19年最佳NLP预训练模型
  13. 模型压缩 LayerDrop:结构剪枝:要个4层的BERT有多难?
  14. 模型压缩 BERT-of-Theseus:bert-of-theseus,一个非常亲民的bert压缩方法
  15. 模型压缩 TinyBERT:比 Bert 体积更小速度更快的 TinyBERT
  16. 模型压缩总结:BERT 瘦身之路:Distillation,Quantization,Pruning

(持续更新中...)