LLM面试常见手撕代码合集
ps: 本人目前几十场面试仅遇到过
MHA,RoPE,RMSNorm,BPE,InfoNCE,DPO。如有帮助请点个star⭐️~
| 目录 | 文件 | 说明 |
|---|---|---|
| Attention | MHA.ipynb | 多头注意力 (Multi-Head Attention) |
| GQA.ipynb | 分组查询注意力 (Grouped Query Attention) | |
| MHA_kvcache.ipynb | 带KV cache的注意力 | |
| mask.ipynb | 注意力掩码 | |
| Components | Linear.ipynb | 线性层 |
| BPE.ipynb | Byte Pair Encoding | |
| LoRA.ipynb | LoRA Linear 层 | |
| RoPE.ipynb | 旋转位置编码 | |
| SwiGLU.ipynb | SwiGLU 激活函数 | |
| Norm | LayerNorm.ipynb | 层归一化 |
| RMSNorm.ipynb | RMS归一化 | |
| Functional | activation_fun.ipynb | 激活函数 |
| CE.ipynb | 交叉熵损失 | |
| InfoNCE.ipynb | InfoNCE损失 | |
| quantify.ipynb | 量化 | |
| SFT.ipynb | SFT损失 | |
| RL | DPO.ipynb | DPO损失 |
| GRPO.ipynb | GRPO损失 | |
| GSPO.ipynb | GSPO损失 | |
| KL.ipynb | KL散度 | |
| PPO.ipynb | PPO损失 |