/deep_training

深度学习训练框架

Primary LanguagePython

transformer is all you need.

  • 基于pytorch-lightning 和 transformers实现的上下游训练框架
  • 安装 pip install -U deep_training

完整训练模型

优化器

adamw,adam,lamb,lion

download

https://pypi.org/project/deep-training/#history

开发计划

  • keras 模块封装

更新

  • 2023年04月11

    • 0.1.2 重构lora v2, 增加adalora
    • 0.1.2@post0 fix lova v1,lova v2 load_in_8bit

  • 2023年04月07

    • deep_training 0.1.1 同步更新chatglm 词表配置信息

  • 2023年04月02

    • release 0.1.0 and pytorch_lightning >= 2

  • 2023年03月15

    • 增加ChatGLM模型(稳定版>=0.0.18@post7) 完整训练参考 chatglm_finetuning
    • 0.0.18@post8 解决deepspeed进程数据平衡
    • 0.0.18@post9 增加流式输出接口stream_chat接口
    • 0.0.20 ChatGLM lora 加载权重继续训练 ， 修改数据数据编码 ，权重自适应
    • 0.0.21@post0 fix ChatGLM deepspeed stage 3 权重加载

  • 2023年03月09

  • 2023年03月08

    • 增加LLaMA 模型(非模型并行版) 完整训练参考 poetry_training

  • 2023年03月02

  • 2023年02月15

    • 增加诗歌PaLM预训练模型

  • 2023年02月13

    • 增加中文语法纠错模型gector, seq2seq语法纠错模型

  • 2023年02月09

    • 增加诗歌t5decoder预训练, 诗歌laMDA预训练模型 , t5encoder 预训练模型

  • 2023年02月07

    • 增加层次分解位置编码选项，让transformer可以处理超长文本

  • 2023年01月24

    • 增加诗歌gpt2预训练,诗歌t5预训练，诗歌unilm预训练

  • 2023年01月20

    • 增加对抗训练 FGM, FGSM_Local,FreeAT, PGD, FGSM,FreeAT_Local, 其中FreeAT推荐使用FreeAT_Local,FGSM 推荐使用 FGSM_Local

  • 2023年01月19

    • 增加promptbertcse监督和非监督模型

  • 2023年01月16

    • 增加diffcse 监督和非监督模型

  • 2023年01月13

    • 增加ESimcse 模型

  • 2023年01月11

    • 增加TSDAE句向量模型

  • 2023年01月09

    • 增加infonce监督和非监督,simcse监督和非监督,SPN4RE关系模型抽取

  • 2023年01月06

    • 增加onerel关系模型抽取，prgc关系模型抽取，pure实体模型提取

  • 2022年12月24

    • 增加unilm模型蒸馏和事件抽取模型

  • 2022年12月16

    • crf_cascad crf级联抽取实体
    • span ner 可重叠多标签，非重叠多标签两种实现方式抽取实体
    • mhs_ner 多头选择实体抽取模型
    • w2ner 实体抽取模型
    • tplinkerplus 实体抽取
    • tpliner 关系抽取模型
    • tplinkerplus 关系抽取模型
    • mhslinker 多头选择关系抽取模型

  • 2022年11月17:

    • simcse-unilm 系列
    • simcse-bert-wwm 系列
    • tnews circle loss
    • afqmc siamese net similar

  • 2022年11月15:

    • unilm autotitle seq2seq autotitle
    • 普通分类,指针提取命名实体,crf提取命名实体
    • prefixtuning 分类 , prefixtuning 分类 , prefixtuning 指针提取命名实体 , prefixtuning crf 提取命名实体

  • 2022年11月12:

    • gplinker (全局指针提取)
    • casrel (A Novel Cascade Binary Tagging Framework for Relational Triple Extraction 参考 https://github.com/weizhepei/CasRel)
    • spliner (指针提取关系 sigmoid pointer or simple pointer)

  • 2022年11月11:

    • cluener_pointer 中文命名实体提取 和 cluener crf 中文命名实体提取
    • tnews 中文分类

  • 2022年11月06:

    • mlm,gpt2,t5等模型预训练任务

支持任务

  • 预训练:
    • 数据参考 THUCNews新闻文本分类数据集的子集
    • mlm预训练例子 bert roberta等一些列中文预训练
    • lm预训练例子 gpt2等一些列中文预训练
    • seq2seq 预训练例子 t5 small等一些列中文预训练   
    • unilm 预训练例子 unilm bert roberta 等一些列中文预训练  &nbsp
  • 中文分类:
    • 例子 tnews 中文分类
  • 命名实体提取:
    • 参考数据 cluner
    • cluener 全局指针提取
    • cluener crf提取
    • cluener crf prompt提取
    • cluener mhs ner多头选择提取
    • cluener span指针提取
    • cluener crf 级联提取
    • cluener tplinkerplus 提取
    • pure 提取
    • cluener w2ner 提取
  • 关系提取
    • 参考数据 duie和法研杯第一阶段数据
    • gplinker 关系提取
    • casrel 关系提取
    • spliner 关系提取
    • mhslinker 关系提取
    • tplinker 关系提取
    • tplinkerplus 关系提取
    • onerel 关系抽取
    • prgc 关系提取
    • spn4re 关系提取
  • 事件提取
  • prompt 系列:
    • 例子 prefixprompt tnews中文分类
    • 例子 prefixtuning tnews 中文分类
    • 例子 prefixtuning cluener 命名实体全局指针提取
    • 例子 prefixtuning cluener 命名实体crf提取
    • 例子 prompt mlm 自行构建数据模板集，训练参考 pretrain/mlm_pretrain
    • 例子 prompt lm 自行构建数据模板集，训练参考 pretrain/seq2seq_pretrain , pretrain/lm_pretrain
  • simcse 系列:
  • sentense embeding:
    • circle loss 例子 tnews circle loss
    • siamese net 例子 afqmc siamese net similar

愿景

创建一个模型工厂, 轻量且高效的训练程序，让训练模型更容易,更轻松上手。

交流

QQ交流群：185144988