/Chinese-Text-Classification

bert晚点测试一下

Primary LanguagePythonMIT LicenseMIT

1. Text Classification

本项目是基于pytorch,关于一些文本分类任务的一些模型(bert、roberta、T5、textCNN...)实现及笔记，持续更新.

数据集: [THUCNews]（http://thuctc.thunlp.org） ,本项目只选取了部分短文本数据集，已上传，data目录下。

数据：10个类
label_dic = {'finance': 0, 'realty': 1, 'stocks': 2, 'education': 3, 'science': 4, 'society': 5, 'politics': 6, 'sports': 7, 'game': 8, 'entertainment': 9}

How To Run

you can find the code and the illustration in directory of bert_classification
不同模型结果的详细结果报告、运行说明等，详见目录bert_classification/README.md。

Result

model f1 Loss time(s)/epoch pretrain-model-download-link algorithm nodes
Albert-tiny 0.8011 0.6149 10.4034 albert_chinese 预训练模型：从BERT到XLNet、RoBERTa、ALBERT
bert-base 0.9102 0.3382 41.5280 bert_chinese 预训练模型：从BERT到XLNet、RoBERTa、ALBERT
roberta 0.9022 0.4267 45.9066 roberta_chinese_L12
brightmart_link		 预训练模型：从BERT到XLNet、RoBERTa、ALBERT
macbert-base 0.9157 0.2811 41.4945 macbert_chinese 预训练模型：从MacBERT、SpanBERT看MLM任务
spanbert-base 0.6199 0.2811 40.9721 spanbert_english 预训练模型：从MacBERT、SpanBERT看MLM任务
mT5-small 0.8544 ~ 73.6844 mt5-small ~
TextCNN 0.8773 0.6357 12.8052 None 搭一个TextCNN-文本分类利器

2. BERT的几种fine-tune策略

主要实验了fine-tune阶段的几种策略，包括weight_decay、不同的初始化策略、冻结参数、warmup等。

实验中涉及的策略：

  1. bert_adam
  2. weight_decay
  3. reinit pooler
  4. reinit layers
  5. frozen parameters
  6. warmup_proportion

Notes:

a detailed description is given here.
详细笔记: Bert在fine-tune时训练的几种技巧

How To Run

gpu device: 3090ti
you can find the code and scripts in directory of finetune_bert_better

Result

本项目主要做了关于以上参数的实验，组合下来，总计64组，所有的实验结果可以在目录下finetune_bert_better/README.md找到。

其中：1/0 represented use or not
表现最好的为50组f1=0.9405，27epoch* 65.4266s（bert_adam1-weight_decay1-reinit_pooler0-reinit_layers0-frozen_layers0-warmup_proportion0.1）。
表现最差的为55组f1=0.9281，28epoch* 41.4246s（bert_adam1-weight_decay1-reinit_pooler0-reinit_layers6-frozen_layers6-warmup_proportion0.0）。
加了frozen-parameter的速度会快不少，平均41.4246s/epoch

index bertadam weight_decay reinit_pooler reinit_layers frozen_layers warmup_proportion f1
35 1 0 0 0 6 0.0 0.9398
37 1 0 0 6 0 0.0 0.9287
45 1 0 1 6 0 0.0 0.9284
50 1 1 0 0 0 0.1 0.9405
55 1 1 0 6 6 0.0 0.9281
58 1 1 1 0 0 0.1 0.9396