wdndev/personal

Individual learning to implement some modules

0.简介

个人学习实现的一些模块

1.深度学习算法

1. 注意力机制
2. transformer
3. bert_d2l
4. bert_torch
5. vision_transformer
6. swim_transformer
7. MoE

2.jupyter

1. Numpy
2. TensorFlow
3. huggingface
4. Peft Funetuning

3.LeetCode

1. 数据结构与算法
2. 经典系列题目
3. 经典150题
4. hot100题目
5. 其他题目

4.大模型

1. 大模型微调：微调常见大模型
   • ChatGLM3微调
   • QWen1.5微调
2. 微调方法DPO: 不使用强化学习的一种大模型微调方法

5.Postgraduate Course

研究生一些课程