使用的模型包括BiLSTM, BiLSTM-Att, BERT和GPT, 同时使用支持向量机(SVM)作为基线模型。
实验的数据来源于Kaggle的一个文本情感分类数据集,实验的目标预测一段给定文本的情感倾向。
训练集:16000
测试集:2000
验证集:2000
情感标签:['anger', 'surprise', 'joy', 'sadness', 'love', 'fear']
link: https://www.kaggle.com/praveengovi/emotions-dataset-for-nlp
在测试集上,使用P、R、F1值来评估模型的性能, 结果如下:
模型 | P | R | F1 |
---|---|---|---|
baseline (SVM) | 78.404 | 79.617 | 78.944 |
BiLSTM | 87.202 | 85.488 | 86.167 |
BiLSTM-Att | 87.962 | 86.524 | 87.078 |
BERT | 86.019 | 86.458 | 86.083 |
GPT | 87.111 | 87.132 | 87.077 |