gsscsd/llm_interview_note

主要记录大语言大模型（LLMs） 算法（应用）工程师相关的知识及面试题

LLMs 相关知识及面试题

简介

本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 🌟 star，谢谢！

为了在低资源情况下，学习大模型，进行动手实践，创建 tiny-llm-zh仓库，旨在构建一个小参数量的中文大语言模型，该项目已部署，可以在如下网站上体验：ModeScope Tiny LLM。

在线阅读

在线阅读链接：LLMs Interview Note

注意：

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：

目录

• 首页
• 真实面试题
• 01.大语言模型基础
  • 1.1 大模型发展历程
    • 1.语言模型
  • 1.2 分词与词向量
    • 1.分词
    • 2.jieba分词用法及原理
    • 3.词性标注
    • 4.句法分析
    • 5.词向量
  • 1.3 语言模型基础知识
    • Word2Vec
    • NLP三大特征抽取器（CNN/RNN/TF）
    • NLP面试题
    • LLM为什么Decoder only架构
  • 1.4 深度学习
    • 1.激活函数
  • 1.5 一些题目
    • 1.llm概念
• 02.大语言模型架构
  • 2.1 Transformer模型
    • 1.attention
    • 2.layer_normalization
    • 3.位置编码
    • 4.tokenize分词
    • 5.token及模型参数
    • 6.激活函数
  • 2.2 注意力
    • MHA_MQA_GQA
  • 2.3 解码部分
    • 解码策略（Top-k & Top-p & Temperature）
  • 2.4 BERT
    • bert细节
    • Transformer架构细节
    • bert变种
  • 2.5 常见大模型
    • llama系列模型
    • chatglm系列模型
    • llama 2代码详解
    • llama 3
  • 2.6 MoE
    • 1.MoE论文
    • 2.MoE经典论文简牍
    • 3.LLM MoE ：Switch Transformers
• 03.训练数据集
  • 3.1 数据集
    • 数据格式
  • 3.2 模型参数
• 04.分布式训练
  • 4.1 基础知识
    • 1.概述
    • 2.数据并行
    • 3.流水线并行
    • 4.张量并行
    • 5.序列并行
    • 6.多维度混合并行
    • 7.自动并行
    • 8.moe并行
    • 9.总结
  • 4.2 DeepSpeed
    • deepspeed介绍
  • 4.3 Megatron
  • 4.4 训练加速
  • 4.5 一些有用的文章
  • 4.6 一些题目
    • 1.分布式训练题目
    • 2.显存问题
• 05.有监督微调
  • 5.1 理论
    • 1.基本概念
    • 2.prompting
    • 3.adapter-tuning
    • 4.lora
    • 5.总结
  • 5.2 微调实战
    • llama2微调
    • ChatGLM3微调
  • 5.3 一些题目
    • 1.微调
    • 2.预训练
• 06.推理
  • 6.1 推理框架
    • 0.llm推理框架简单总结
    • 1.vllm
    • 2.text_generation_inference
    • 3.faster_transformer
    • 4.trt_llm
  • 6.2 推理优化技术
    • llm推理优化技术
  • 6.3 量化
  • 6.4 vLLM
  • 6.5 一些题目
    • 1.推理
• 07.强化学习
  • 7.1 强化学习原理
    • 策略梯度（pg）
    • 近端策略优化(ppo)
  • 7.2 RLHF
    • 大模型RLHF：PPO原理与源码解读
    • DPO
  • 7.3 一些题目
    • 1.rlhf相关
    • 2.强化学习
• 08.检索增强RAG
  • 8.1 RAG
    • 检索增强llm
    • rag（检索增强生成）技术
  • 8.2 Agent
    • 大模型agent技术
• 09.大语言模型评估
  • 9.1 模型评估
    • 1.评测
  • 9.2 LLM幻觉
    • 1.大模型幻觉
    • 2.幻觉来源与缓解
• 10.大语言模型应用
  • 10.1 思维链提示
    • 1.思维链（cot）
  • 10.2 LangChain框架
    • 1.langchain
• 98.相关课程
• 99.参考资料

更新记录

• 2024.05.05 ：清华大学LLM课程
• 2024.05.04 ： 使用 docsify 构建在线版本
• 2024.05.01 : 解码参数，策略
• 2024.04.15 : BERT细节
• 2024.03.19 : 推理参数
• 2024.03.17 ： 强化学习部分，PG，PPO，RLHF，DPO
• 2024.03.13 ： 强化学习题目
• 2024.03.10 : LLMs相关课程
• 2024.03.08 ： RAG技术
• 2024.03.05 ：大模型评估，幻觉
• 2024.01.26 ：语言模型简介
• 2023.12.15 ： llama，chatglm 架构
• 2023.12.02 ：LLM推理优化技术
• 2023.12.01 ：调整目录
• 2023.11.30 ：18.Layer-Normalization，21.Attention升级
• 2023.11.29 ： 19.激活函数，22.幻觉，23.思维链
• 2023.11.28 ： 17.位置编码
• 2023.11.27 ： 15.token及模型参数， 16.tokenize分词
• 2023.11.25 ： 13.分布式训练
• 2023.11.23 ： 6.推理， 7.预训练， 8.评测，9.强化学习， 11.训练数据集，12.显存问题,14.agent
• 2023.11.22 ： 5.高效微调
• 2023.11.10 ： 4.LangChain
• 2023.11.08 ： 建立仓库；1.基础，2.进阶，3.微调