LLM全栈优质资源汇总
非常欢迎大家也参与进来,收集更多优质大模型相关资源。
原理:
- Transformer模型详解(图解最完整版
- OpenAI ChatGPT(一):十分钟读懂 Transformer
- Transformer的结构是什么样的?各个子模块各有什么作用?
- 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
- Transformer 一起动手编码学原理
源码:
- OpenAI ChatGPT(一):Tensorflow实现Transformer
- OpenAI ChatGPT(一):十分钟读懂 Transformer
- GPT (一)transformer原理和代码详解
- Transformer源码详解(Pytorch版本)
- 搞懂Transformer结构,看这篇PyTorch实现就够了
原理:
学习率(warmup, decay):
- 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
- 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
- LLM七种推理服务框架总结
- LLM投机采样(Speculative Sampling)为何能加速模型推理
- 大模型推理妙招—投机采样(Speculative Decoding)
- https://github.com/flexflow/FlexFlow/tree/inference
- TensorRT-LLM(3)--架构
- NLP(十八):LLM 的推理优化技术纵览:https://zhuanlan.zhihu.com/p/642412124
- 知识蒸馏(Knowledge Distillation) 经典之作:https://zhuanlan.zhihu.com/p/102038521
- PyTorch 源码解读系列 @ OpenMMLab 团队
- [源码解析] PyTorch 分布式 @ 罗西的思考
- PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
- 【Pytorch】model.train() 和 model.eval() 原理与用法
- Megatron-LM 近期的改动
- 深入理解 Megatron-LM(1)基础知识 @ 简枫
- 深入理解 Megatron-LM(2)原理介绍
- [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
- [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
- [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮
- [细读经典]Megatron论文和代码详细分析(2)
- CLiB中文大模型能力评测榜单
- huggingface Open LLM Leaderboard
- HELM:https://github.com/stanford-crfm/helm
- HELM:https://crfm.stanford.edu/helm/latest/
- lm-evaluation-harness:https://github.com/EleutherAI/lm-evaluation-harness/
- CLEVA:http://www.lavicleva.com/#/homepage/overview
- CLEVA:https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md
- https://huggingface.co/docs/safetensors/index
- https://github.com/huggingface/safetensors/tree/v0.3.3
- 业界AI加速芯片浅析(一)百度昆仑芯
- NVIDIA CUDA-X AI:https://www.nvidia.cn/technologies/cuda-x/
- Intel,Nvidia,AMD三大巨头火拼GPU与CPU
- 处理器与AI芯片-Google-TPU:https://zhuanlan.zhihu.com/p/646793355
- MLOps Landscape in 2023: Top Tools and Platforms
- What Constitutes A Large Language Model Application? :LLM Functionality Landscape