深度学习百问

深度学习百问包含深度学习基础篇、深度学习进阶篇、深度学习应用篇、强化学习篇以及面试宝典，详细信息请参阅Paddle知识点文档平台。

深度学习基础篇
1. 深度学习
  1. 基础知识（包括神经元、单层感知机、多层感知机等5个知识点）
  2. 优化策略（包括什么是优化器、GD、SGD、BGD、鞍点、Momentum、NAG、Adagrad、AdaDelta、RMSProp、Adam、AdaMa、Nadam、AMSGrad、AdaBound、AdamW、RAdam、Lookahead等18个知识点）
  3. 激活函数(包括什么是激活函数、激活函数的作用、identity、step、sigmoid、tanh、relu、lrelu、prelu、rrelu、elu、selu、softsign、softplus、softmax、swish、hswish、激活函数的选择等21个知识点)
  4. 常用损失函数（包括交叉熵损失、MSE损失以及CTC损失等3个知识点）
  5. 评估指标（包括Precision、Recall、mAP、IS、FID等5个知识点）
  6. 模型调优
    - 学习率（包括什么是学习率、学习率对网络的影响以及不同的学习率率衰减方法，如：分段常数衰减等12个学习率衰减方法）
    - 归一化（包括什么是归一化、为什么要归一化、为什么归一化能提高求解最优解速度、归一化有哪些类型、不同归一化的使用条件、归一化和标准化的联系与区别等6个知识点）
    - 正则化(包括什么是正则化？正则化如何帮助减少过度拟合？数据增强、L1 L2正则化介绍、L1和L2的贝叶斯推断分析法、Dropout、DropConnect、早停法等8个知识点)
    - 注意力机制 (包括自注意力、多头注意力、经典注意力计算方式等10个知识点)
    - Batch size（包括什么是batch size、batch size对网络的影响、batch size的选择3个知识点）
    - 参数初始化（包括为什么不能全零初始化、常见的初始化方法等5个知识点）
2. 卷积神经网络
  1. CNN综述（包括计算机视觉综述、计算机视觉发展历程、卷积神经网络结构等3个知识点）
  2. 卷积算子（包括标准卷积、1*1卷积、3D卷积、转置卷积、空洞卷积、分组卷积、可分离卷积等7个知识点）
  3. 池化（包括池化的基本概念、池化特点等2个知识点）
3. 序列模型
  1. 词表示 (包括one-hot编码、word-embedding以及word2vec等9个知识点)
  2. 循环神经网络RNN
  3. 长短时记忆网络LSTM
  4. 门控循环单元GRU
深度学习进阶篇
1. 预训练模型
  1. 预训练模型是什么 (包括预训练、微调等2个知识点)
  2. 预训练分词Subword(包括BPE、WordPiece、ULM等3个知识点)
  3. Transformer（包括self-attention、multi-head Attention、Position Encoding、Transformer Encoder、Transformer Decoder等5个知识点）
  4. BERT（包括BERT预训练任务、BERT微调等2个知识点）
  5. ERNIE(包括ERNIE介绍、Knowledge Masking等2个知识点)
2. 对抗神经网络
  1. encoder-decoder(包括encoder、decoder等2个知识点)
  2. GAN基本概念(包括博弈论、纳什均衡、输入随机噪声、生成器、判别器、损失函数、训练不稳定、模式崩溃等8个知识点)
  3. GAN应用(包括GAN在图像生成、超分辨率、图片上色等方面的应用)
深度学习应用篇
1. 计算机视觉
  1. 图像增广（包括什么是数据增广、常用数据增广方法、图像变换类增广方法、图像裁剪类增广方法、图像混叠类增广方法、不同方法对比实验等11个知识点）
  2. 图像分类（包括LeNet、AlexNet、VGG、GoogleNet、DarkNet、ResNet、ViT等7个知识点）
  3. 目标检测（包括目标检测综述、边界框、锚框、交并比、NMS等5个知识点）
  4. OCR（包括OCR综述、OCR常用检测方法(CTPN、EAST、DBNet)、OCR常用识别方法(CRNN)等5个知识点）
  5. 视频分类（包括TSM、TimeSformer详解）
2. 自然语言处理
  1. 命名实体识别 (包括bilstm+CRF架构剖析、CRF原理等8个知识点)
3. 推荐系统
  1. 推荐系统基础(包括协同过滤推荐、内容过滤推荐、组合推荐、用户画像、召回、排序等6个知识点)
  2. DSSM模型（包括DSSM模型等1个知识点）
产业实践篇
1. 模型压缩（包括为什需要模型压缩、模型压缩基本方法、PKD、DistilBERT、TinyBERT、DynaBERT等6个知识点）
2. 模型部署
强化学习篇
1. 强化学习
  1. 强化学习基础知识点（包括智能体、环境、状态、动作、策略和奖励的定义）
  2. 马尔可夫决策过程（包括马尔可夫决策过程、Model-based、Model-free三个知识点）
  3. 策略梯度定理（包括策略梯度定理一个知识点）
  4. 蒙特卡洛策略梯度定理（包括蒙特卡洛策略梯度定理一个知识点）
  5. REINFORCE算法（包括REINFORCE算法简介和流程两个知识点）
  6. SARSA（包括SARSA的公式、优缺点等2个知识点）
  7. Q-Learning（包括Q-Learning的公式、优缺点等2个知识点）
  8. DQN（包括DQN网络概述及其创新点和算法流程2个知识点）
面试宝典
1. 深度学习基础
1. 卷积模型
1. 预训练模型
1. 对抗神经网络
1. 计算机视觉
1. 自然语言处理
1. 推荐系统

贡献内容

您要是能加入飞桨教育SIG，贡献新的深度学习知识点那就太好了！欢迎邮件咨询xutongtong@baidu.com，了解SIG成员权益，共同建设飞桨教育生态。

w5688414/awesome-DeepLearning

深度学习百问

贡献内容