/DeepLearing-Interview-Awesome-2024

We'll cover some of the most common Deep Learning Interview Questions and answers and provide detailed answers to help you

DeepLearning-Interview-Awesome-2024 Language License AD

本项目涵盖了大模型(LLMs)专题计算机视觉与感知算法专题深度学习基础与框架专题自动驾驶、智慧医疗等行业垂域专题手撕项目代码专题优异开源资源推荐专题共计6大专题模块。我们将持续整理汇总最新的面试题并详细解析这些题目,希望能成为大家斩获offer路上一份有效的辅助资料。

2024算法面试题目持续更新,具体请 follow 2024年深度学习算法与大模型面试指南,喜欢本项目的请右上角点个star,同时也欢迎大家一起共创该项目。

该项目是持续更新:

  • 本文录入题目的原则:高新深,其中高是指-各大厂公司近年高频算法面试题,新是指-题目要新紧跟学术和工业界的发展,比如录入了大量大模型领域的面试题,深是指-题目要有一定的内容与深度,可以引人思考,比如面向业务场景改进的面试题;
  • 目前录入列表的题目,存在部分没有答案解析的题目,或者解析内容不全的题目,我们会尽快补上所有解析;
  • 目前录入列表的顺序,没有先后、频次、难度、细类别等维度信息,后续会再给予更多维度更详细的分类;

🏆大模型(LLMs)专题

01. 大模型常用微调方法LORA和Ptuning的原理
02. 介绍一下stable diffusion的原理
03. 为何现在的大模型大部分是Decoder only结构
04. 如何缓解 LLMs 复读机问题
05. 为什么transformer中使用LayerNorm而不是BatchNorm
06. Transformer为何使用多头注意力机制
07. 监督微调SFT后LLM表现下降的原因
08. 微调阶段样本量规模增大导致的OOM错误
09. Attention计算复杂度以及如何改进
10. BERT用于分类任务的优点,后续改进工作有哪些?
11. SAM分割一切网络中的Promot类型以及如何输入进网络
12. Transformer的层融合是如何做到的,其中Residue Network与Layer Norm如何算子融合
13. 简单介绍下Transformer算法
14. 在大型语言模型 (llms) 中减少幻觉的策略有哪些?
15. 你能否概括介绍一下 ChatGPT 的训练过程?
16. 在大型语言模型 (llms) 上下文中的标记是什么?
17. Adaptive Softmax在大型语言模型中有何用处?
18. 大模型微调的LORA原理及Lora怎么训练?
19. lora的矩阵怎么初始化?为什么要初始化为全0?

🍳计算机视觉与感知算法专题

01. 人脸识别任务中,ArcFace为什么比CosFace效果好
02. FCOS如何解决重叠样本,以及centerness的作用
03. Centernet为什么可以去除NMS,以及正负样本的定义
04. 介绍CBAM注意力
05. 介绍mixup及其变体
06. Yolov5的正负样本定义
07. Yolov5的一些相关细节
07. Yolov5与Yolov4相比neck部分有什么不同
08. Yolov7的正负样本定义
09. Yolov8的正负样本定义
10. Yolov5的Foucs层和Passthrough层有什么区别
11. DETR的检测算法的创新点
12. CLIP的核心创新点
13. 目标检测中旋转框IOU的计算方式
14. 局部注意力如何实现
15. 视觉任务中的长尾问题的常见解决方案
16. Yolov5中的objectness的作用
17. 匈牙利匹配方法介绍
18. Focal loss的参数如何调,以及存在什么问题
19. 训练一个二分类任务,其中数据有80%的标注正确,20%标注失败
20. 目标检测设置很多不同的anchor,能否改善小目标及非正常尺寸目标的性能,除计算速度外还存在什么问题
21. Anchor-free的target assign怎么解决多个目标中心点位置比较靠近的问题
22. 如果在分类任务中几个类别有重叠(类间差异小)怎么办,如何设计网络结构
23. 在目标Crowded的场景下,经常在两个真正目标中间会出现误检的原因?
24. 在Unet网络结构中,四次降采样对于分割网络到底是不是必须的?
25. 为什么UNet++可以被剪枝,怎么去决定剪多少?
26. 在A场景下进行目标的标记及训练,如何在B场景下取得好的效果?
27. 如何修改Yolov5目标检测,从而实现旋转目标检测?
28. ViT、DEIT是如何处理变长序列输入的?
29. Transformer的注意力机制常用softmax函数,可以使用sigmoid代替吗?
30. VIT中对输入图像的处理是如何将patch变化为token的?
31. VIT直接用于分割检测等预测密集型的任务上存在什么问题?
32. DETR用二分图匹配实现label assignment,简述其过程

⏰深度学习基础与框架专题

01. 卷积和BN如何融合提升推理速度
02. 多卡BN如何处理
03. TensorRT为什么能让模型跑更快
04. 损失函数的应用-合页损失
05. Pytorch DataLoader的主要参数有哪些
06. 神经网络引入注意力机制后效果降低的原因
07. 为什么交叉熵可以作为损失函数
08. 优化算法之异同 SGD/AdaGrad/Adam
09. 有哪些权重初始化的方法
10. MMengine的一些特性
11. Modules的一些属性问题
12. 激活函数的对比与优缺点
13. Transformer/CNN/RNN的时间复杂度对比
14. 深度可分离卷积
15. CNN和MLP的区别
16. MMCV中Hook机制简介及创建一个新的Hook
17. 深度学习训练中如何区分错误样本和难例样本
18. PyTorch 节省显存的常用策略
19. 深度学习模型训练时的Warmup预热学习率作用
20. MMdetection中添加一个自定义的backbone网络,需要改哪些代码
21. PyTorch中的 ModuleList 和 Sequential的区别和使用场景
22. 考虑一个filter[-1 -1 -1; 0 0 0; 1 1 1] 用于卷积。该滤波器将从输入图像中提取哪些边缘
23. 深度学习中为什么不对 bias 偏置进行正则化?
24. 正则化为什么可以增加模型泛化能力
25. 深度学习模型中如何融入传统图像处理的特征?直接拼接融合有什么问题?
26. 多任务学习中各个任务损失的权重应该如何设计呢?
27. 为什么Adam常常打不过SGD?症结点与改善方案?

🛺自动驾驶、智慧医疗等行业垂域专题

01. 相机内外参数
02. 坐标系的变换
03. 放射变换与逆投影变换分别是什么
04. 卡尔曼滤波Q和R怎么调
05. 如何理解BEV空间及生成BEV特征
06. 如何在标注存在错误的数据上训练模型
07. 视频与图像中的目标检测具体有什么区别
08. 栏杆检测为什么不用网络学习
09. 卡尔曼滤波怎么用同一个filter同时适配车辆横穿的场景
10. BEV特征怎么进行数据增强
11. 辅助驾驶场景中,模型对60米之内的中大目标预测的bbox坐标不稳定,有较大的抖动问题,导致测距不稳定,怎么解决?
12. 辅助驾驶场景中,对公交站、房屋顶等特定背景误检,怎么解决?
13. 辅助驾驶场景中,大于100m的车辆车型分类出现跳动怎么解决?
14. 医学影像由于标注专业性差异,出现多人标注不一致情况怎么解决?如何用算法的方式减少误差?
15. NLP中给定当前query和历史query以及对应实体,如何对当前query的实体进行建模?

🏳‍🌈手撕项目代码专题

01. Pytorch实现注意力机制、多头注意力
02. Numpy广播机制实现矩阵间L2距离的计算
03. Conv2D卷积的Python和C++实现
04. Numpy实现bbox_iou的计算
05. Numpy实现Focalloss
06. Python实现非极大值抑制nms、softnms
07. Python实现BN批量归一化
08. Pytorch手写Conv+Bn+Relu,及如何合并
09. 描述图像resize的过程并实现
10. PyTorch卷积与BatchNorm的融合
11. 分割网络损失函数Dice Loss代码实现

🚩优异开源资源推荐专题

01. 多个优异的数据结构与算法项目推荐
02. 大模型岗位面试总结:共24家,9个offer
03. 视觉检测分割一切源码及在线Demo
04. 动手学深度学习Pytorch
05. 一种用于保存、搜索、访问、探索和与您喜爱的所有网站、文档和文件聊天的工具
06. 收集一些免费的ChatGPT镜像站点
07. 关于大型语言模型(LLM)的一切
08. 深度学习调优指南中文版
09. 多模态大型语言模型的最新论文和数据集集锦
10. ChatPaper:ChatGPT来加速科研流程的工具
11. 消费级硬件上进行LLaMA的微调
12. Stability AI提供的一系列生成模型
13. 自监督方式学习强大视觉特征的框架DINOv2
14. 快速的场景分割FastSAM