LLMs Interview 八股文

简介

本仓库为大模型面试相关概念,由本人参考网络资源整理,欢迎阅读,如果对你有用,麻烦点一下 start,谢谢!

在线阅读

本仓库相关文章已放在个人博客中,欢迎阅读:

在线阅读链接:LLMs Interview Note

注意:

相关答案为自己撰写,若有不合理地方,请指出修正,谢谢!

欢迎关注微信公众号,会不定期更新LLM内容,以及一些面试经验:

weixin

目录

01.大语言模型简介

02.大语言模型基础

03.语言模型训练数据集

04.分布式训练

05.有监督微调

06.推理

  • 推理框架 0. llm推理框架简单总结
    1. vLLM
    2. Text Generation Inference
    3. Faster Transformer
    4. TRT LLM
  • 推理优化技术
    1. LLM推理优化技术
  • 推理相关题目

07.强化学习

08.检索增强rag

09.大语言模型评估

  • 模型评估
  • LLM幻觉

10.大语言模型应用

  • 思维链(CoT)
  • LangChain 框架

99.参考资料

更新记录

  • 2024.01.26 :语言模型简介
  • 2023.12.15 : llama,chatglm 架构
  • 2023.12.02 :LLM推理优化技术
  • 2023.12.01 :调整目录
  • 2023.11.30 :18.Layer-Normalization,21.Attention升级
  • 2023.11.29 : 19.激活函数,22.幻觉,23.思维链
  • 2023.11.28 : 17.位置编码
  • 2023.11.27 : 15.token及模型参数, 16.tokenize分词
  • 2023.11.25 : 13.分布式训练
  • 2023.11.23 : 6.推理, 7.预训练, 8.评测,9.强化学习, 11.训练数据集,12.显存问题,14.agent
  • 2023.11.22 : 5.高效微调
  • 2023.11.10 : 4.LangChain
  • 2023.11.08 : 建立仓库;1.基础,2.进阶,3.微调