算法组训练框架
环境配置
依赖库安装
python3 -m pip install -r requirements.txt --user运行方式
文本摘要
python3 python train.py --config=/home/lyc/nlp-training/configs/summary-template.yaml文本翻译
python3 python train.py --config=/home/lyc/nlp-training/configs/translation-template.yaml实体抽取
python3 python train.py --config=/home/lyc/nlp-training/configs/ner-template.yaml文本分类（互斥单分类）
python3 python train.py --config=/home/lyc/nlp-training/configs/classification-template.yaml文本标签分类（多分类）
python3 python train.py --config=/home/lyc/nlp-training/configs/tag-template.yaml训练参数
外部参数
项目训练入口文件为train.py，其中包含参数如下
| 参数名 | 必选 | 类型 | 默认值 | 说明 |
|---|---|---|---|---|
| config | 是 | String | None | 训练参数文件地址 |
| local_rank | 否 | Int | -1 | 用于在GPU上进行分布式培训的local_rank值 |
| multi_task | 否 | String | None | 多任务模式训练 |
| debug | 否 | action | False | 是否开启debug模式，若开启则不记录wandb |
内部参数
内部参数为config文件中包含的参数，其中包含参数如下
| 参数名 | 从属模块 | 类型 | 说明 |
|---|---|---|---|
| task_name | train | String | 任务名称 |
| model_name | train | String | 使用模型名称 |
| pretrained_tag | train | String | 使用预训练模型名称 |
| pretrained_model | train | String | 使用已经训练好的模型路径(需包含bin文件、config文件和vocab文件) |
| batch_size | train | Int | 训练批次包含条数 |
| train_epochs | train | Int | 训练轮次 |
| freeze_encoder | train | Bool | 是否使用freeze_encoder策略 |
| gradient_checkpointing | train | Bool | 是否使用gradient_checkpointing策略 |
| fp16 | train | Bool | 是否使用fp16策略 |
| encode_document | train | Bool | 是否使用encode_document策略 |
| use_bilstm | train | Bool | 是否使用带有addBilstm的预训练模型(仅在实体识别任务中存在) |
| output_dir | train | String | 输出文件及训练参数保存路径 |
| type | eval | String | 任务类型，nlu为序列标注任务，nlg为序列生成任务 |
| metric | eval | String | 测试指标 |
| batch_size | eval | Int | 测试批次包含条数 |
| num_beams | eval | Int | beam search 数量， 1为不执行beam search策略 |
| early_stopping | eval | Bool | 每批至少完成num_beams个句子时是否停止波束搜索 |
| corpus | data | String | 使用数据集的名称 |
| data_dir | data | String | 使用数据集的路径 |
| max_seq_length | data | Int | 读取数据最大长度 |
| max_tgt_length | data | Int | 生成数据最大长度(仅在摘要和翻译任务中) |
| crosslingual | data | Bool | 使用哪种类型的摘要(仅在摘要任务中) |
| type | optimizer | String | 使用优化器的名称 |
| lr | optimizer | Float | learning rate |
| weight_decay | optimizer | Float | 学习率衰减比率 |
| num_warmup_steps | optimizer | Float | warmup策略持续执行steps |
| gradient_accumulation_steps | optimizer | Float | 梯度累计steps |
| max_grad_norm | optimizer | Float | 梯度修剪参数 |
| cuda_visible_devices | system | String | 使用几块gpu训练模型 |
| distributed | system | Bool | 是否分布式加载数据 |
支持模型
使用方法
在对应任务的config.yaml中设定参数：
train:
model_name: "对应模型名称"
pretrained_tag: "对应支持预训练模型"nezha
华为诺亚方舟实验室开源的基于BERT的中文预训练语言模型NEZHA
支持任务：
- 实体抽取
- 文本分类（互斥单分类）
- 文本标签分类（多分类）
支持预训练模型：
- huawei/nezha-en-base: 英文基础模型
- huawei/nezha-zh-base: 中文基础模型
- huawei/nezha-zh-large: 中文增强模型(24层版本)
hfl
哈工大讯飞联合实验室发布的中文训练Whole Word Masking (wwm) BERT以及ROBERTA模型
支持任务：
- 实体抽取
- 文本分类（互斥单分类）
- 文本标签分类（多分类）
支持预训练模型：
- hfl/chinese-bert-wwm: 使用中文维基百科数据集训练的中文bert-wwm基础模型
- hfl/chinese-bert-wwm-ext: 使用中文维基百科，其他百科、新闻、问答等数据，总词数达5.4B的EXT数据集训练的中文bert-wwm基础模型
- hfl/chinese-roberta-wwm-ext: 使用EXT数据集训练的中文萝卜塔RoBERTa-wwm基础模型
- hfl/chinese-roberta-wwm-ext-large: 使用EXT数据集训练的中文萝卜塔RoBERTa-wwm增强模型(24层版本)
mbart
FaceBook发布的多语言BART模型
支持任务：
- 文本翻译
- 文本摘要
支持预训练模型：
- facebook/mbart-large-cc25: 预训练的多语言mbart模型(24层版本)
mT5
谷歌实验室发布的多语言T5模型
支持任务：
- 文本翻译
- 文本摘要
支持预训练模型：
- google/mt5-base: 标准版多语言T5模型
- google/mt5-large: 增强版多语言T5模型
PET Training模式
作为一种比较特殊的训练模式，详情可参考论文It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners，严格意义上来说谷歌的T5模型也算在这个范畴之内。
简而言之，将所有问题全部转化为完形填空(cloze)问题，充分利用一些预训练模型的MLM Head。例如对于新闻分类问题，我们将其转化为如下形式。
原文：北京时间12月4日，2020至2021赛季**女排超级联赛开始了第三阶段比赛较量，八强战比赛格外引人注目，首日比赛将有四场强强对话，在率先进行的一场比赛中，卫冕冠军天津女排与前联赛冠军浙江女排展开争夺，前两局天津女排顺风顺水拿下，第三局大比分浙江女排一直在比分上取得领先，天津女排局末阶段发力追平比分，浙江女排多次面对局点未能把握机会，最终天津女排两分险胜对手，大比分直落三局击败浙江女排，三局比分分别是25：19、25：10、32：30。
转换：下面是一则____新闻，北京时间12月4日，2020至2021赛季**女排超级联赛开始了第三阶段比赛较量，八强战比赛格外引人注目，首日比赛将有四场强强对话，在率先进行的一场比赛中，卫冕冠军天津女排与前联赛冠军浙江女排展开争夺，前两局天津女排顺风顺水拿下，第三局大比分浙江女排一直在比分上取得领先，天津女排局末阶段发力追平比分，浙江女排多次面对局点未能把握机会，最终天津女排两分险胜对手，大比分直落三局击败浙江女排，三局比分分别是25：19、25：10、32：30。
期望补全的词：体育通过这种转换方式，将原来的新闻分类问题转换为了一个完形填空问题，其形式与Mask Language Model非常相似，而大部分的预训练模型的目标任务之一就是MLM，因此充分利用这个优势即可达到小样本甚至零样本的效果。
使用PET Training模式，需要在训练数据目录下提供一个label_map文件（与ner和textclf任务类似）。另外，在训练配置yaml文件中需要增加一个pet专用配置，具体形式可以参考pet-template.yaml
评价标准
Rouge(Recall-Oriented Understudy for Gisting Evaluation)
定义
rouge意为面向召回的要点评估理解，是一种评估模型性能的方法，该方法通常用于生成摘要或机器翻译。
使用方法
在文本摘要或文本翻译任务的config.yaml中设定参数：
eval:
metric: "rouge"返回结果
返回rouge-1、rouge-2和rouge-l三个评测结果，例如：
{"rouge-1": ***, "rouge-2": ***, "rouge-l": ***}
BLEU (Bilingual Evaluation Understudy)
定义
BLEU意思是双语评估替补。所谓Understudy (替补)，意思是代替人进行翻译结果的评估。尽管这项指标是为翻译而发明的，但它可以用于评估一组自然语言处理任务生成的文本。
使用方法
在文本摘要或文本翻译任务的config.yaml中设定参数：
eval:
metric: "bleu"返回结果
返回rouge-1、rouge-2和rouge-l三个评测结果，例如：
{"bleu": ***}
p-r-f (precision\recall\f1)
定义
准确率、召回率和f1值。
使用方法
在实体抽取、文本分类(单分类)任务的config.yaml中设定参数：
eval:
metric: "p-r-f"在文本分类(多分类)任务的config.yaml中设定参数：
eval:
metric: "micro" # mode 属于 ['micro', 'macro']其中 'micro'为通过计算“正确，错误和否定”的总数来全局计算指标。
'macro'为计算每个种类的p-r-f，并找到其平均值。
返回结果
返回rouge-1、rouge-2和rouge-l三个评测结果，例如：
{"eval_precision": ***, "eval_recall": ***, "eval_f1": ***}