BertManual

Blogs

Bert不完全手册1. Bert推理太慢?模型蒸馏

Bert不完全手册2. Bert不能做NLG?MASS/UNILM/BART

Bert不完全手册3. Bert训练策略优化!RoBERTa & SpanBERT

Bert不完全手册4. 绕开BERT的MASK策略?XLNET & ELECTRA

Bert不完全手册5. 推理提速?训练提速!内存压缩!Albert

Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert

Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert

Bert不完全手册8. 预训练不要停!Continue Pretraining

Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer