zhumeilian/DeepLearningCourseCodes

Notes, Codes, and Tutorials for the Deep Learning Course at ChinaHadoop

Deep Learning Course Codes

Notes, Codes, and Tutorials for the Deep Learning Course at ChinaHadoop

注意每一份代码分别有Jupyter Notebook, Python, 以及HTML三种形式，大家可以按照自己的需求阅读，学习或运行。 运行时需要注意anaconda的版本问题，anaconda2-5.0.0与anaconda3-5.0.0分别对应python2.7与python3.6环境。

重要参考资料：

1. Stanford CS229 Machine Learning, Fall 2017
2. Deep Learning Book读书笔记
3. Hands-on Machine Learning with Scikit-Learn and TensorFlow [book]

学习资料：

1. Effective TensorFlow - TensorFlow tutorials and best practices.
2. Finch - Many Machine Intelligence models implemented (mainly tensorflow, sometimes pytorch / mxnet)
3. Pytorch Tutorials - PyTorch Tutorial for Deep Learning Researchers.
4. MXNet the straight dope - An interactive book on deep learning. Much easy, so MXNet. Wow.

第一讲：深度学习课程总览与神经网络入门

代码示例：TensorFlow基础与线性回归模型(TensorFlow, PyTorch)

• MNIST数据集演示
• TensorFlow基础
• 线性回归模型-TensorFlow
• 线性回归模型-PyTorch
• 线性回归模型-MXNet (contributed by LinkHS)

第二讲：传统神经网络

代码示例：K近邻算法，线性分类，以及多层神经网络(TensorFlow, PyTorch)

• K近邻算法在图像分类上的应用-TensorFlow
• K近邻算法在图像分类上的应用-PyTorch (contributed by Johnny Chen)
• 多层神经网络示例-TensorFlow
• 多层神经网络示例-PyTorch

第三讲：卷积神经网络基础

代码示例：卷积神经网络的基础实现(TensorFlow)

• 卷积神经网络基础示例-原生实现
• 卷积神经网络基础示例-主流实现

第四讲：卷积神经网络进阶

代码示例：卷积神经网络的进阶实现(TensorFlow)

• 卷积神经网络进阶示例与可视化
• 卷积神经网络进阶示例-TF-Slim实现

• 准备自定义数据集训练卷积神经网络
• 使用自定义数据集训练卷积神经网络

• 使用训练好的VGG网络模型
• 使用自定义数据集训练VGG网络模型

• 基于TensorBoard的CNN可视化

• 更多基于TF-Slim的预训练模型

第五讲：深度神经网络：目标分类与识别

代码示例：深度神经网络-图像识别与分类(TensorFlow, PyTorch)

• 安装TensorLayer (中文文档参见此处，此后复杂实现均推荐使用TensorLayer高级API库，同时可以结合TF-Slim与Keras)

pip install git+https://github.com/zsdonghao/tensorlayer.git

• 安装OpenCV python接口

conda install -c menpo opencv3 
或
pip install opencv-python

• 所需数据集下载：data.zip: [微云][百度云] (覆盖./05_Image_recognition_and_classification/data文件夹)  
• 所需模型下载： vgg19.npz  [微云][百度云] (放置于./05_Image_recognition_and_classification文件夹下)  
• 所需模型下载：inception_v3.ckpt [微云][百度云] (放置于./05_Image_recognition_and_classification文件夹下)

• 图像识别与分类示例教程

• VGG19图像分类模型-TensorLayer实现

• InceptionV3图像分类模型-TensorLayer结合TF-SLim实现

• Wide-ResNet网络模型-TensorLayer实现

• Class Activation Mapping (CAM)示例 (完整实现可参考此处)

第六讲：深度神经网络：目标检测与定位

代码示例：目标检测模型示例 (TensorFlow, PyTorch)

• TensorFlow Object Detection API使用示例

• 所需模型下载：ssd_mobilenet_v1_coco_11_06_2017: [微云] (解压并置于06_Object_detection/Object_Detection_Tensorflow_API_demo/object_detection/文件夹下)

• [SSD: Single Shot Multibox Detector] (TensorFlow实现, PyTorch实现)

• [YOLO, YOLOv2] (TensorFlow实现, PyTorch实现)

第七讲：深度神经网络：目标追踪与目标分割

代码示例：目标追踪与目标分割

• 目标追踪 - [GOTURN](TensorFlow实现, Plain Python实现, Original C++实现)

• 目标分割 - [FCN](TensorFlow实现, PyTorch实现)

• 目标分割 - [Mask-RCNN](TensorFlow实现, PyTorch实现)

第八讲：循环神经网络与序列模型

代码示例：循环神经网络

• 循环神经网络, RNN - [TensorFlow, Pytorch]

• 双向循环神经网络, Bidirectional-RNN - [TensorFlow, Pytorch]

• 动态循环神经网络, Dynamic-RNN - [TensorFlow]

• 自动编码器, AutoEncoder - [TensorFlow]

• 变分自动编码器, Variational AutoEncoder - [TensorFlow]

• 图片标注, Image Captioning - [TensorFlow, PyTorch]

• 视频标注, Video Captioning - [TensorFlow]

第九讲：无监督式学习与生成对抗网络

代码示例：生成对抗网络

• 生成对抗网络, GAN - [TensorFlow, PyTorch]

• 深度卷积生成对抗网络, DCGAN - [TensorFlow]

• Pix2Pix, CycleGAN - [PyTorch]

• StackGAN - [TensorFlow, PyTorch]

• GANs Model Collections - [1, 2, 3]

第十讲：强化学习

• Basic Reinforcement Learning - [basic_reinforcement_learning]

• Applied Reinfocement Learning - [applied-reinforcement-learning]

• Oreilly RL Tutorial - [oreilly-rl-tutorial]