一款用pytorch来复现bert4keras的简洁训练框架
安装稳定版
pip install bert4torch
安装最新版
pip install git+https://www.github.com/Tongjilibo/bert4torch.git
- 注意事项:pip包的发布慢于git上的开发版本,git clone注意引用路径
- 测试用例:
git clone https://github.com/Tongjilibo/bert4torch
,修改example中的预训练模型文件路径和数据路径即可启动脚本,examples中用到的数据文件后续会放链接 - 自行训练:针对自己的数据,修改相应的数据处理代码块
- 开发环境:使用
torch==1.10
版本进行开发,如其他版本遇到不适配,欢迎反馈
- 核心功能:加载bert、roberta、albert、xlnet、nezha、bart、RoFormer、RoFormer_V2、ELECTRA、GPT、GPT2、T5、GAU-alpha等预训练权重继续进行finetune、并支持在bert基础上灵活定义自己模型
- 丰富示例:包含pretrain、sentence_classfication、sentence_embedding、sequence_labeling、relation_extraction、seq2seq等多种解决方案
- 易用trick:集成了常见的trick, 即插即用
- 其他特性:可加载transformers库模型一起使用;调用方式和bert4keras基本一致,简洁高效;实现基于keras的训练进度条动态展示;兼容torchinfo,实现打印各层参数量功能;自定义fit过程,满足高阶需求
- v0.2.0:兼容torch<1.9.0的缺失take_along_dim,修复bart中位置向量514的问题,修复Sptokenizer对符号不转换,打印Epoch开始的时间戳,增加parallel_apply
- v0.1.9:增加mixup/manifold_mixup/temporal_ensembling策略, 修复pgd策略param.grad为空的问题,修改tokenizer支持批量
- v0.1.8:修复原来CRF训练中loss陡增的问题,修复xlnet的token_type_ids输入显存占用大的问题
- v0.1.7:增加EarlyStop,CRF中自带转bool类型
- v0.1.6:增加transformer_xl、xlnet、t5_pegasus模型,prompt、预训练等示例,支持增加embedding输入,EMA策略,修复tokenizer和sinusoid的bug
- v0.1.5:增加GAU-alpha,混合梯度,梯度裁剪,单机多卡(DP、DDP)
- v0.1.4:增加了VAT,修复了linux下apply_embedding返回项有问题的情况
- v0.1.3:初始版本
- 2022年8月21更新:增加W2NER示例,打印Epoch开始的时间戳,增加parallel_apply
- 2022年8月14更新:增加有监督句向量、关系抽取、文本生成实验指标,兼容torch<1.9.0的缺失take_along_dim,修复bart中位置向量514的问题,修复Sptokenizer对符号不转换
- 2022年7月27更新:增加mixup/manifold_mixup/temporal_ensembling策略, 修复pgd策略param.grad为空的问题,修改tokenizer支持批量,增加uie示例
- 2022年7月16更新:修复原来CRF训练中loss陡增的问题,修复xlnet的token_type_ids输入显存占用大的问题
- 2022年7月10更新:增加金融中文FAQ示例,天池新闻分类top1案例,增加EarlyStop,CRF中自带转bool类型
- 2022年6月29更新:增加ner的实验,测试crf不同初始化的效果,bert-whitening中文实验
- 2022年6月13更新:增加seq2seq+前缀树,增加SimCSE/ESimCSE/PromptBert等无监督语义相似度的中文实验
- 2022年6月05更新:增加PromptBert、PET、P-tuning示例,修改tokenizer对special_tokens分词错误的问题,增加t5_pegasus
- 2022年5月29更新:transformer_xl、xlnet模型, 修改sinusoid位置向量被init_weight的bug, EMA,sohu情感分类示例
- 2022年5月17更新:增加预训练代码,支持增加embedding输入(如词性,word粒度embedding)
- 2022年5月01更新:增加了混合梯度,梯度裁剪,单机多卡训练(DP、DDP)
- 2022年4月25更新:增加了VAT、GAU-alpha等示例,增加了梯度累积,自定义fit()示例
- 2022年4月15更新:增加了ner_mrc、ner_span、roformer_v2、roformer-sim等示例
- 2022年4月05更新:增加了GPLinker、TPlinker、SimBERT等示例
- 2022年3月29更新:增加了CoSENT、R-Drop、UDA等示例
- 2022年3月22更新:添加GPT、GPT2、T5模型
- 2022年3月12更新:初版提交
- 用pytorch复现苏神的bert4keras
- 初版参考了bert4pytorch
- 部分权重是要加载修改的config.json
模型分类 | 权重来源 | 权重链接 | 转换说明(若有) |
---|---|---|---|
bert | 谷歌原版bert | tf | 转pytorch命令 |
bert | 哈工大chinese-bert-wwm-ext | tf/pytorch, pytorch | |
bert | bert-base-chinese | pytorch | 转换脚本 |
robert | 哈工大chinese-robert-wwm-ext | tf/pytorch, pytorch | |
albert | brightmart | tf, pytorch | |
xlnet | 哈工大xlnet | tf/pytorch | |
electra | 哈工大electra | tf, pytorch | |
macbert | 哈工大macbert | tf, pytorch | |
roformer | 追一科技 | tf, pytorch | |
roformer_v2 | 追一科技 | tf, pytorch | |
simbert | 追一科技 | tf, pytorch | |
roformer-sim | 追一科技 | ft, pytorch | |
gau-alpha | 追一科技 | tf | 转换脚本 |
nezha | 华为 | tf, pytorch | |
gpt | CDial-GPT | pytorch | 转换脚本 |
gpt2 | 清华26亿 cmp_lm | pytorch | 转换脚本 |
gpt2 | 中文GPT2_ML模型 | tf, pytorch | 转换脚本 |
t5 | UER | pytorch | |
mt5 | 谷歌 | pytorch | |
t5_pegasus | 追一科技 | tf | 转换脚本 |
bart | 复旦 | pytorch | 转换脚本 |