/deep-learning-notes

Some notes and references about deep learning

Primary LanguageJupyter NotebookMIT LicenseMIT

deep-learning-notes

Some notes and references about deep learning

台大教授李宏毅编写的deep learning入门读物。深入浅出的介绍了deep learning基础框架(神经网络,BP),衍生框架(CNN,RNN)和应用场景。内容截止到2015年(Alpha Go出道那段时间)为止。

60页游有个视角的图,很赞。

官方宣传网站:http://deeplearning.stanford.edu/,斯坦福站台,看起来很学术! 该课程全称Unsupervised Feature Learning and Deep Learning,由Andrew Ng和一帮斯坦福的学生创建,有基于matlab的试验,可能与Coursera上ML练习类似。

相关资料

2017年8月7日开课,多伦多大学,官方资料

三种网络架构

  • Feed-Foward
  • Recurrent
  • Symmetrically connected netowrkd with hidden units

直接开始,微软提供的课程。

课程大纲

  • 1 Introduction and Overview
  • 2 Multi-class classification using Logistic Regression
  • 3 Image Recognition with Multi-layer Perceptron
  • 4 Image Recognition using Convolution Neural Network
  • 5 Forecast Time Data using a Recurrent Neural Network (RNN)
  • 6 Text Classification with RNN and Long Short Term Memory (LSTM)

这门课程学习完成了,一共花了三周左右,大概总共20个小时。它将DNN中的主要技术,以黑盒子的形式介绍,并且提供非常完备的试验环境,用于试验各种参数对模型效果的影响,给人非常感性的认识。学完之后,知道了CNN,RNN,LSTM这些可以做什么,不能做什么。

这门课程作为DNN的入门课程,个人感觉非常适合,不足的是理论推导基本没有,不知道为什么模型就这样工作了。当然,你不能对一个免费的课程要求更多,而且DNN理论支撑本来就没有,人们目前也不能完全解释为什么搞这么深,模型就工作的非常好。

后续需要继续搞懂的点

  1. DNN学习机制,主要是BP算法
  2. 实践是检验真理的唯一标准。使用TensorFlow,RNN时序分类,应用到smoba自动审判。

DeepLearning Book

只提供在线阅读版本,深度学习三大神(Ian Goodfellow, Yoshua Bengio and Aaron Courville)写的书。晚上好心人整理的PDF版本