本项目是一站式深度学习在线百科,内容涵盖零基础入门深度学习、产业实践深度学习、特色课程;深度学习百问、产业实践(开发中) 等等。从理论到实践,从科研到产业应用,各类学习材料一应俱全,旨在帮助开发者高效地学习和掌握深度学习知识,快速成为AI跨界人才。
-
内容全面:无论您是深度学习初学者,还是资深用户,都可以在本项目中快速获取到需要的学习材料。
-
形式丰富 :材料形式多样,包括可在线运行的notebook、视频、书籍、B站直播等,满足您随时随地学习的需求。
-
实时更新:本项目中涉及到的代码均匹配Paddle最新发布版本,开发者可以实时学习最新的深度学习任务实现方案。
-
前沿分享 :定期分享顶会最新论文解读和代码复现,开发者可以实时掌握最新的深度学习算法。
零基础入门深度学习 |
产业实践深度学习 |
---|---|
特色系列课程 |
经典深度学习案例集 |
深度学习百问 |
面试宝典 |
-
AI Studio在线课程:《零基础实践深度学习》:理论和代码结合、实践与平台结合,包含20小时视频课程,由百度杰出架构师、飞桨产品负责人和资深研发人员共同打造。
-
《零基础实践深度学习》书籍:本课程配套书籍,由清华出版社2020年底发行,京东/当当等电商均有销售。
学习地图:
1.零基础实践深度学习七日课 开营介绍
资料 链接 视频 https://aistudio.baidu.com/aistudio/education/lessonvideo/1452173 课件 https://aistudio.baidu.com/aistudio/education/preview/1447519 2.比赛赛题讲解
资料 链接 视频 https://aistudio.baidu.com/aistudio/education/lessonvideo/1372844 项目 https://aistudio.baidu.com/aistudio/projectdetail/1938271 3.DAY1-AI职业发展与课程介绍
资料 链接 视频 https://aistudio.baidu.com/aistudio/education/lessonvideo/1452185 课件 https://aistudio.baidu.com/aistudio/education/preview/1452186 4.DAY2-手写数字识别案例入门深度学习
附:手写数字识别案例入门深度学习项目
项目 链接 使用飞桨完成手写数字识别模型 https://aistudio.baidu.com/aistudio/education/group/info/1297 通过极简方案快速构建手写数字识别模型 手写数字识别之数据处理 手写数字识别之网络结构 手写数字识别之损失函数 手写数字识别之优化算法 手写数字识别之资源配置 手写数字识别之训练调试与优化 手写数字识别之恢复训练 手写数字识别之动转静部署 5.DAY3-眼疾识别案例实践计算机视觉
附:眼疾识别案例项目
项目 链接 卷积神经网络基础 https://aistudio.baidu.com/aistudio/education/group/info/1297 图像分类 6.DAY4-词向量训练和情感分析任务
附:词向量训练和情感分析任务项目
项目 链接 自然语言处理综述 https://aistudio.baidu.com/aistudio/education/group/info/1297 词向量Word Embedding 文本情感倾向性分析 7.DAY5-基于DSSM的电影推荐案例
附:DSSM的电影推荐案例项目
项目 链接 推荐系统介绍 https://aistudio.baidu.com/aistudio/education/group/info/1297 数据处理与读取 电影推荐模型设计 模型训练与特征保存 电影推荐 8.DAY6-模型优化经验与飞桨深入解读
深度学习百问包含深度学习基础篇、深度学习进阶篇、深度学习应用篇、强化学习篇以及面试宝典,详细信息请参阅Paddle知识点文档平台。
-
深度学习基础篇
-
- 基础知识(包括神经元、单层感知机、多层感知机等5个知识点)
- 优化策略(包括什么是优化器、GD、SGD、BGD、鞍点、Momentum、NAG、Adagrad、AdaDelta、RMSProp、Adam、AdaMa、Nadam、AMSGrad、AdaBound、AdamW、RAdam、Lookahead等18个知识点)
- 激活函数(包括什么是激活函数、激活函数的作用、identity、step、sigmoid、tanh、relu、lrelu、prelu、rrelu、elu、selu、softsign、softplus、softmax、swish、hswish、激活函数的选择等21个知识点)
- 常用损失函数(包括交叉熵损失、MSE损失以及CTC损失等3个知识点)
- 评估指标(包括Precision、Recall、mAP、IS、FID等5个知识点)
- 模型调优
- 学习率(包括什么是学习率、学习率对网络的影响以及不同的学习率率衰减方法,如:分段常数衰减等12个学习率衰减方法)
- 归一化(包括什么是归一化、为什么要归一化、为什么归一化能提高求解最优解速度、归一化有哪些类型、不同归一化的使用条件、归一化和标准化的联系与区别等6个知识点)
- 正则化(包括什么是正则化?正则化如何帮助减少过度拟合?数据增强、L1 L2正则化介绍、L1和L2的贝叶斯推断分析法、Dropout、DropConnect、早停法等8个知识点)
- 注意力机制 (包括自注意力、多头注意力、经典注意力计算方式等10个知识点)
- Batch size(包括什么是batch size、batch size对网络的影响、batch size的选择3个知识点)
- 参数初始化(包括为什么不能全零初始化、常见的初始化方法等5个知识点)
-
- 词表示 (包括one-hot编码、word-embedding以及word2vec等9个知识点)
- 循环神经网络RNN
- 长短时记忆网络LSTM
- 门控循环单元GRU
-
-
深度学习进阶篇
- 预训练模型
- 预训练模型是什么 (包括预训练、微调等2个知识点)
- 预训练分词Subword(包括BPE、WordPiece、ULM等3个知识点)
- Transformer(包括self-attention、multi-head Attention、Position Encoding、Transformer Encoder、Transformer Decoder等5个知识点)
- BERT(包括BERT预训练任务、BERT微调等2个知识点)
- ERNIE(包括ERNIE介绍、Knowledge Masking等2个知识点)
- 对抗神经网络
- encoder-decoder(包括encoder、decoder等2个知识点)
- GAN基本概念(包括博弈论、纳什均衡、输入随机噪声、生成器、判别器、损失函数、训练不稳定、模式崩溃等8个知识点)
- GAN应用(包括GAN在图像生成、超分辨率、图片上色等方面的应用)
- 预训练模型
-
深度学习应用篇
-
产业实践篇
-
强化学习篇
- 强化学习
- 强化学习基础知识点(包括智能体、环境、状态、动作、策略和奖励的定义)
- 马尔可夫决策过程 (包括马尔可夫决策过程、Model-based、Model-free三个知识点)
- 策略梯度定理 (包括策略梯度定理一个知识点)
- 蒙特卡洛策略梯度定理(包括蒙特卡洛策略梯度定理一个知识点)
- REINFORCE算法 (包括REINFORCE算法简介和流程两个知识点)
- SARSA(包括SARSA的公式、优缺点等2个知识点)
- Q-Learning(包括Q-Learning的公式、优缺点等2个知识点)
- DQN(包括DQN网络概述及其创新点和算法流程2个知识点)
- 强化学习
-
面试宝典
- 深度学习基础
- 为什么归一化能够提高求解最优解的速度?
- 为什么要归一化?
- 归一化与标准化有什么联系和区别?
- 归一化有哪些类型?
- Min-max归一化一般在什么情况下使用?
- Z-score归一化在什么情况下使用?
- 学习率过大或过小对网络会有什么影响?
- batch size的大小对网络有什么影响?
- 在参数初始化时,为什么不能全零初始化?
- 激活函数的作用?
- sigmoid函数有什么优缺点?
- RELU函数有什么优缺点?
- 如何选择合适的激活函数?
- 为什么 relu 不是全程可微/可导也能用于基于梯度的学习?
- 怎么计算mAP?
- 交叉熵为什么可以作为分类任务的损失函数?
- CTC方法主要使用了什么方式来解决了什么问题?
- 机器学习指标精确率,召回率,f1指标是怎样计算的?
- 卷积模型
- 预训练模型
- BPE生成词汇表的算法步骤是什么?
- Multi-Head Attention的时间复杂度是多少?
- Transformer的权重共享在哪个地方?
- Transformer的self-attention的计算过程是什么?
- 讲一下BERT的基本原理
- 讲一下BERT的三个Embedding是做什么的?
- BERT的预训练做了些什么?
- BERT,GPT,ELMO的区别
- 请列举一下BERT的优缺点
- ALBERT相对于BERT做了哪些改进?
- NSP和SOP的区别是什么?
- 对抗神经网络
- GAN是怎么训练的?
- GAN生成器输入为什么是随机噪声?
- GAN生成器最后一层激活函数为什么通常使用tanh()?
- GAN使用的损失函数是什么?
- GAN中模式坍塌(model callapse指什么?)
- GAN模式坍塌解决办法
- GAN模型训练不稳定的原因
- GAN模式训练不稳定解决办法 or 训练GAN的经验/技巧
- 计算机视觉
- ResNet中Residual block解决了什么问题?
- 使用Cutout进行数据增广有什么样的优势?
- GoogLeNet使用了怎样的方式进行了网络创新?
- ViT算法中是如何将Transformer结构应用到图像分类领域的?
- NMS的原理以及具体实现?
- OCR常用检测方法有哪几种、各有什么优缺点?
- 介绍一下DBNet算法原理
- DBNet 输出是什么?
- DBNet loss
- 介绍以下CRNN算法原理
- 介绍一下CTC原理
- OCR常用的评估指标
- OCR目前还存在哪些挑战/难点?
- 自然语言处理
- RNN一般有哪几种常用建模方式?
- LSTM是如何改进RNN,保持长期依赖的?
- LSTM在每个时刻是如何融合之前信息和当前信息的?
- 使用LSTM如何简单构造一个情感分析任务?
- 介绍一下GRU的原理
- word2vec提出了哪两种词向量训练方式
- word2vec提出了负采样的策略,它的原理是什么,解决了什么样的问题?
- word2vec通过什么样任务来训练词向量的?
- 如果让你实现一个命名实体识别任务,你会怎么设计?
- 在命名实体识别中,一般在编码网络的后边添加CRF层有什么意义
- 介绍一下CRF的原理
- CRF是如何计算一条路径分数的?
- CRF是如何解码序列的?
- 使用bilstm+CRF做命名实体识别时,任务的损失函数是怎么设计的?
- BERT的结构和原理是什么?
- BERT使用了什么预训练任务?
- 说一下self-attention的原理?
- 推荐系统
章节名称 | notebook链接 | Python实现 | 课程简介 |
---|---|---|---|
经典的预训练语言模型 | notebook链接 | Python实现 | 本章节将为大家详细介绍NLP领域 Transformer。Transformer的前世今生,包括ELMo,GPT,Transformer,BERT等经典模型,还会介绍Transformer在机器翻译里面的应用 |
经典的预训练语言模型 | notebook链接 | Python实现 | 本章节将为大家详细介绍NLP领域 Transformer。Transformer的前世今生,包括ELMo,GPT,Transformer,BERT等经典模型,还会介绍Transformer在机器翻译里面的应用 |
预训练模型在自然语言理解方面的改进 | notebook链接 | Python实现 | ERNIE, RoBERTa, KBERT,清华ERNIE等,在广度上去分析经典预训练模型的一些改进。 |
预训练模型在长序列建模方面的改进 | notebook链接 | Python实现 | Transformer-xl, xlnet, longformer等,分析BERT和transformer的长度局限,并讨论这些方法的改进点。 |
BERT蒸馏 | notebook链接 | Python实现 | 本章节为大家详细介绍了针对BERT模型的蒸馏算法,包括:Patient-KD、DistilBERT、TinyBERT、DynaBERT等模型,同时以代码的形式为大家展现了如何使用DynaBERT的训练策略对TinyBERT进行蒸馏。 |
预训练模型的瘦身策略 – – 高效结构 | notebook链接 | Python实现 | 本章节将为大家>详细介绍NLP领域,基于Transformer模型的瘦身技巧。包括 Electra,AlBERT 以及 performer。还会介绍代码实现案例:基于Electra的语音识别后处理中文标点符号预测 |
transformer在图像分类中的应用 | notebook链接 | Python实现 | 本章>节将为大家详细介绍 Transformer 在 CV 领域中的两个经典算法:ViT 以及 DeiT。带领大家一起学习Transformer 结构在图像分类领域的具体应用。 |
领域 | 产业案例 | 介绍 |
---|---|---|
智能工业 | 厂区传统仪表统计监测 | - |
智能工业 | 新能源汽车锂电池隔膜质检 | - |
智能工业 | 天池铝材表面缺陷检测 | - |
智能工业 | 安全帽检测 | - |
智慧城市 | 高尔夫球场遥感监测 | - |
智慧城市 | 积雪语义分割 | - |
智慧城市 | 戴口罩的人脸识别 | - |
智慧交通 | 车道线分割和红绿灯安全检测 | - |
智慧农林 | 耕地地块识别 | |
智慧农林 | AI识虫 | - |
智慧医疗 | 医学常见中草药分类 | - |
智慧医疗 | 眼疾识别 | - |
其他 | 人摔倒检测 | - |
其他 | 足球比赛动作定位 | - |
其他 | 基于强化学习的飞行器仿真 | - |
其他 | 基于ERNIE-Gram实现语义匹配 | - |
非常感谢您使用本项目。您在使用过程中有任何建议或意见,可以在 Issue 上反馈给我们,也可以通过扫描下方的二维码联系我们,飞桨的开发人员非常高兴能够帮助到您,并与您进行更深入的交流和技术探讨。
本项目的发布受Apache 2.0 license许可认证。
本项目的不断成熟离不开各位开发者的贡献,如果您对深度学习知识分享感兴趣,非常欢迎您能贡献给我们,让更多的开发者受益。
本项目欢迎任何贡献和建议,大多数贡献都需要你同意参与者许可协议(CLA),来声明你有权,并实际上授予我们有权使用你的贡献。
pip install pre-commit
pre-commit install
添加修改的代码后,对修改的文件进行代码规范,pre-commit 会自动调整代码格式,执行一次即可,后续commit不需要再执行。提交pr流程,详见:awesome-DeepLearning 提交 pull request 流程