Rango94/Post-Bert-Era

后bert时代

UNILM《Unified Language Model Pre-training for Natural Language Understanding and Generation》

albert《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》

xlnet《XLNet: Generalized Autoregressive Pretraining for Language Understanding》

roberta《RoBERTa: A Robustly Optimized BERT Pretraining Approach》()

spanbert《SpanBERT: Improving Pre-training by Representing and Predicting Spans》

DistilBERT 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》

改进点一览

		BERT	XLnet	roberta	spanbert	UNILM	albert
对mask的改进	全词掩盖（中文特有）
	n-gram掩盖				✔		✔
	动态掩盖			✔
训练超参数改进	更大的batch size			✔
	更多的训练时间			✔
	更大的数据量		✔	✔
模型结构的改进	全排列语言模型		✔
	相对位置嵌入		✔
	层级参数共享						✔
	因式分解词嵌入						✔
预训练任务的改进	去掉下一句判断任务			✔	✔
	加入其他预训练任务					✔（*）	✔（*）

表1.后bert时代的bert们所做出的改进
*unilm相比较bert多使用了三个预训练任务，分别是从左至右的语言模型，从右至左的语言模型，以及seq2seq模型。
*albert相比较bert，在nsp任务上添加一种特殊的负例，即模型输入的前一句是后一句的后文。

改进的目的可以被分为两类
一类是为了提升下游任务的精度。
包括XLnet，roberta，spanbert，unilm
一类是为了缩减模型参数。提升训练速度和降低部署难度
albert，DistilBERT

XLnet	将自编码式模型改为自回归式模型，期望填补原bert中mask符造成的训练，预测阶段的gap，主要是为生成式模型服务。
roberta	暴力的想要证明bert现有结构的优越性，对bert本身的结构并没有作出改变，仅仅是改变了训练的超参数。
spanbert	防止预测token对小范围的依赖，比如通过“杰伦”来预测“周”。
UNILM	使用了三个生成式语言模型，期望克服bert模型在生成式任务上存在的问题。
albert	通过一些列措施减少bert的参数量，并且仍然保证了相对较高的精度。

表2.bert们所想要解决的问题

模型	Score	参数	TNEWS	LCQMC	XNLI	INEWS	DRCD	CMRC2018	BQ	MSRANER	THUCNEWS
BERT-base	86.82	108M	89.78	86.9	77.8	82.7	91.46	85.48	85.08	95.38	95.35
BERT-wwm-ext	87.42	108M	89.81	87.3	78.7	83.46	92.63	86.68	85.21	95.26	95.57
ERNIE-base	87.43	108M	89.83	87.2	78.6	85.14	92.01	87.30	84.47	95.17	94.90
RoBERTa-large	87.95	334M	89.91	87.2	79.9	84.0	94.25	88.60	85.20	96.07	94.56
XLNet-mid	84.55	209M	86.26	85.98	78.7	84.0	91.44	85.63	77.85	-	94.54
ALBERT-xlarge	86.81	59M	88.3	86.76	74.0?	82.4	94.70	88.66	84.21	89.51	95.45
ALBERT-tiny	79.61	1.8M	87.10	85.4	68.0	81.4	80.67	73.95	80.76	84.77	93.54
RoBERTa-wwm-ext	87.25	108M	89.79	86.33	79.28	82.28	93.53	87.28	84.02	95.06	95.52
RoBERTa-wwm-large	88.13	330M	90.11	86.82	80.04	82.78	95.06	89.42	84.90	95.32	95.93

表3.bert们在目前各种中文公共数据集上的表现

XLnet