wangdongdut/DeepLearning

Deep Learning

Pre-Reading:

• 探寻人工智能: 第一季, 第二季
• 从图灵测试到阿法狗，细说人工智能发展史：Video
• AlphaGo开发历程“电影纪实”：Blog
• Stanford AI Report 2022：Paper, Video

Content

Content	Slides	Videos	Additional Reading
Introduction	[PDF]	[Video]	ImageNet挑战赛风云 Reference
Basic Knowledge	[PDF]	[Video]	如何看懂深度学习论文里的数学原理部分？[深度碎片]
Linear Model	[PDF]	[Video]	神经网络与深度学习[吴恩达]
Nerual Network & Deep Learning	[PDF]	[Video]	Backpropagation[李宏毅] Neural Networks and Backpropagation[Andrej Karpathy]
Network Training	[PDF]	[Video]	神经网络训练不起来怎么办[李宏毅]
Practice Basic Models	[PDF]	[Video]	Pytorch-Tutorials
Convolutional Neural Networks (CNN)-I	[PDF]	[Video]	CNN Node-Link Visualization cnn-explainer
Convolutional Neural Networks (CNN)-II	[PDF]	[Video]	AlexNet: Paper, Video ResNet: Paper, Video MobileNet: v1, v2, v3 VGG, GoogleNet, DenseNet ResNeXt, RepVGG, ConvNeXt
Practice CNN	[PDF]	[Video]	TIMM MM-Detection, Detectron2
Recurrent Neural Networks (RNN)	[PDF]	[Video]	RNN[李宏毅] RNN模型与NLP应用[王树森]
Practice RNN	[PDF]	[Video]	动手学深度学习[李沐]51-60
Transformer	[PDF]	[Video]	Attention is All You Need: Paper, Video
Vision Transformer	[PDF]	[Video]	ViT: Paper, Video DETR: Paper, Video
Practice Transformer	[PDF]	[Video]	BERT: Paper, Video MAE: Paper, Video
Advance Topics	-	-	Advance Topics DeepMind, OpenAI
Summary	-	-	深度学习论文精读 论文写作资源收集 AI竞赛资源收集

Reference

• Course：
  • 李沐-动手学深度学习：https://courses.d2l.ai/zh-v2/ [B站]
  • 李宏毅-机器学习/深度学习2021：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php [B站]
  • 吴恩达-深度学习专业2021: https://www.deeplearningai.net/specializationDetail/Deep_Learning_Specialization
• Book：
  • 邱锡鹏-神经网络与深度学习：https://nndl.github.io/
  • Aston Zhang-动手学深度学习：https://zh.d2l.ai/
  • Ian Goodfellow-Deep Learning：https://www.deeplearningbook.org/
• Paper Reading & Writting：
  • 深度学习论文精读：https://github.com/mli/paper-reading
  • 论文写作资源收集：https://github.com/wangdongdut/PaperWriting
• Others：
  • Matrix Cookbook：https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf
  • 3blue1brown：https://space.bilibili.com/88461692
  • Note(Unofficial):
    • leeml-notes：https://github.com/datawhalechina/leeml-notes
    • deeplearning_ai_books：https://github.com/fengdu78/deeplearning_ai_books

Advance Topics

Foundation Model/Large Model/Big Model/

• Course/Video：

  • GPT系列：GPT-1,2,3论文精读, InstructGPT论文精读, GPT-4论文精读
  • 大模型时代下做科研的四个思路[Yi Zhu]：[B站]
  • 机器学习2023：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php

• Book/Manuscript：

Model Compression/Knowledge Distillation

• Course/Video：
• Book/Manuscript：

Self-supervised Learning：

• Course/Video：

  • 自监督学习[火炉课堂]：https://www.bilibili.com/video/BV1mf4y1K7xW
  • Self-supervised Learning[HUNG-YI LEE]：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php [B站]

• Book/Manuscript：

Reinforcement Learning：

• Course/Video：
  • Reinforcement Learning[HUNG-YI LEE]：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php [B站] https://speech.ee.ntu.edu.tw/~hylee/mlds/2018-spring.php [B站]
  • Deep Reinforcement Learning[ShusenWang]：https://github.com/wangshusen/DRL
  • Intro to Reinforcement learning[BoleiZhou]：https://github.com/zhoubolei/introRL
  • 动手学强化学习[张伟楠]：https://www.boyuai.com/elites/course/xVqhU42F5IDky94x
  • Reinforcement Learning[David Silver]：https://www.davidsilver.uk/teaching/
• Book/Manuscript：
  • EasyRL[Datawhale]：https://github.com/datawhalechina/easy-rl
  • 动手学强化学习[张伟楠等]：https://hrl.boyuai.com/
  • OpenAI-Spinningup：https://spinningup.openai.com/
  • Reinforcement Learning: An Introduction, 2nd edition[Richard S. Sutton等]：http://incompleteideas.net/book/the-book.html
  • 强化学习(第2版)[Richard S. Sutton等]：https://book.douban.com/subject/34809689/

Transfer Learning/Meta-Learning/Few-shot Learning：

• Course/Video：
  • 元学习[火炉课堂]：https://www.bilibili.com/video/BV1X34y1X7Z5
• Book/Manuscript：

Life-long Learning/Continuous Learning：

• Course/Video：
• Book/Manuscript：