/CoSENT

比Sentence-BERT更有效的句向量方案

Primary LanguagePython

CoSENT

比Sentence-BERT更有效的句向量方案

介绍

效果

train训练、test测试:

ATEC BQ LCQMC PAWSX STS-B Avg
BERT+CoSENT 49.74 72.38 78.69 60.00 80.14 68.19
Sentence-BERT 46.36 70.36 78.72 46.86 66.41 61.74
RoBERTa+CoSENT 50.81 71.45 79.31 61.56 81.13 68.85
Sentence-RoBERTa 48.29 69.99 79.22 44.10 72.42 62.80

NLI训练、test测试:

ATEC BQ LCQMC PAWSX STS-B Avg
BERT+CoSENT 28.93 41.84 66.07 20.49 73.91 46.25
Sentence-BERT 28.19 42.73 64.98 15.38 **74.88 45.23
RoBERTa+CoSENT 31.84 46.65 68.43 20.89 74.37 48.43
Sentence-RoBERTa 31.87 45.60 67.89 15.64 73.93 46.99

环境

需要bert4keras >= 0.10.8。个人实验环境是tensorflow 1.15 + keras 2.3.1 + bert4keras 0.10.8。

其他

交流

QQ交流群:808623966,微信群请加机器人微信号spaces_ac_cn