/transformers-code

手把手带你实战 Huggingface Transformers 课程视频同步更新在B站与YouTube

Primary LanguageJupyter Notebook

手把手带你实战Transformers

简介

手把手带你实战Transformers课程的代码仓库

代码适配

  • torch==2.2.1+cu118

  • transformers==4.42.4

  • peft==0.11.1

  • datasets==2.20.0

  • accelerate==0.32.1

  • bitsandbytes==0.43.1

  • faiss-cpu==1.7.4

  • tensorboard==2.14.0

课程规划

  • 基础入门篇:Transformers入门,从环境安装到各个基础组件的介绍,包括Pipeline、Tokenizer、Model、Datasets、Evaluate、Trainer,并通过一个最基本的文本分类实例将各个模块进行串讲

  • 实战演练篇:Transformers实战,通过丰富的实战案例对Transformers在NLP任务中的解决方案进行介绍,包括命名实体识别、机器阅读理解、多项选择、文本相似度、检索式对话机器人、掩码语言模型、因果语言模型、摘要生成、生成式对话机器人

  • 高效微调篇:Transformers模型高效微调,以PEFT库为核心,介绍各种常用的参数高效微调方法的原理与实战,包括BitFit、Prompt-tuning、P-tuning、Prefix-Tuning、Lora和IA3

  • 低精度训练篇:Transformers模型低精度训练,基于bitsandbytes库,进行模型的低精度训练,包括LlaMA2-7B和ChatGLM2-6B两个模型的多个不同精度训练的实战演练,包括半精度训练、8bit训练、4bit训练(QLoRA)

  • 分布式训练篇:Transformers模型分布式训练,基于accelerate库讲解transformers模型的分布式训练解决方案,介绍分布式训练的基本原理以及accelerate库的基本使用方式,包括与Deepspeed框架的集成

  • 对齐训练篇: ...

  • 性能优化篇: ...

  • 系统演示篇: ...

课程地址

课程视频发布在B站与YouTube,代码与视频会逐步进行更新,目前课程主要更新在B站,YouTube后续会持续更新

Transformers 基础入门篇 (已更新完成)

Transformers 实战演练篇 (已更新完成)

  • 08 基于 Transformers的 NLP解决方案

  • 09 实战演练之 命名实体识别

  • 10 实战演练之 机器阅读理解(上,过长截断策略)

  • 10 实战演练之 机器阅读理解(下,滑动窗口策略)

  • 11 实战演练之 多项选择

  • 12 实战演练之 文本相似度(上,基于交互策略)

  • 12 实战演练之 文本相似度(下,基于匹配策略)

  • 13 实战演练之 检索式对话机器人

  • 14 实战演练之 预训练模型

  • 15 实战演练篇之 文本摘要(上,基于T5模型)

  • 15 实战演练篇之 文本摘要(下,基于GLM模型)

  • 16 实战演练篇之 生成式对话机器人(基于Bloom)

Transformers 参数高效微调篇 (已更新完成)

Transformers 低精度训练篇(已更新完成)

  • 24 低精度训练与模型下载

  • 25 半精度模型训练(上,基于LLaMA2的半精度模型训练)

  • 25 半精度模型训练(下,基于ChatGLM3的半精度模型训练)

  • 26 量化与8bit模型训练

  • 27 4bit量化与QLoRA模型训练

Transformers 分布式训练篇(已更新完成)

Transformers 番外技能篇

  • 基于Optuna的Transformers模型自动调参

Star History

Star History Chart

请作者喝杯奶茶