DeepLearningBook读书笔记

前言

作为人工智能领域目前的最大研究热点，同时也是近年来为各种智能任务带来最大突破的技术方向 – 深度学习或者说神经网络正吸引着无数研究人员的眼球。事实上，传统的神经网络结构和算法早在上个世纪就已经被提出，但由于当时的任务需求仍远未达到传统机器学习算法的瓶颈，同时神经网络算法也受限于计算和数据资源，因此并未被普遍关注。

近些年来，依靠人工设计高质量特征的传统机器学习算法在语音识别、自然语言处理以及图像处理等方面逐渐达到瓶颈，人们开始将目光重新转向神经网络，利用已经积累的大量数据资源在这一系列智能任务上取得了突破性的进展。包括语音识别、语义理解、图像识别等在内的研究领域中目前state-of-the-art的结果几乎清一色的都是采用了基于深度学习的方法。同时，GPU强大的并行计算能力以及包括TensorFlow、MXNet、Pytorch等在内的一系列深度学习框架的推出也为研究者和应用开发者提供了极大便利。

DeepLearningBook是目前第一本系统和完整的介绍深度学习的书籍，其作者包括深度学习领域的奠基人、处于研究生涯中期的领域中坚、更有近年来涌现的新星，非常适合搭建理论基础。但是直至去年，本书只有英文原版，对于大多数开发者来说，啃一本800页7*9英寸的书籍，难度可想而知。好消息是，在翻译人员的不懈努力下，DeepLearningBook中文版也已在GitHub上公开，中文翻译版已经由人民邮电出版社出版。

这个项目记录了我们对DeepLearningBook的学习笔记，我们按照全书的脉络对Deep Learning的基础框架进行了梳理和学习，同时将会附上使用TensorFlow实现的相关代码。

GitHub的markdown不再支持tex公式的解析显示，使用Chrome的同学可以安装GitHub with MathJax添加MathJax的解析以对公式正常显示。

如果需要直接阅读模式，可以移步至我们的github.io进行阅读：DeepLearningBook读书笔记

致谢

我们分为两个类别的贡献者。

负责人也就是对应的该章节案例维护者。
贡献者对应于主要的案例开发者。

原书章节	对应案例	负责人	贡献者
第一章前言	前言介绍	@swordyork	@daweicheng
第二章线性代数	线性代数	@zengxy
第三章概率与信息论	概率与信息论	@zengxy
第四章数值计算	数值计算	@zengxy
第五章机器学习基础	机器学习基础与实践	@zengxy	@fangjie
第六章深度前馈网络	深度前馈网络	@kimliu0803	@hjptriplebee @fangjie
第七章深度学习中的正则化	深度学习中的正则化	@lupeng666	@titicaca
第八章深度模型中的优化	深度学习中的优化	@jinshengwang92	@lupeng666
第九章卷积网络	卷积网络	@lupeng666 @fangjie
第十章序列建模：循环和递归网络	RNN LSTM 序列到序列	@zengxy	@hjptriplebee
第十一章实践方法论	实践调参	@daweicheng
第十二章应用
第十三章线性因子模型	线性因子模型	@jingshengwang92	@YaoStriveCode
第十四章自编码器	自编码器	@daweicheng
第十五章表示学习	表示学习	@daweicheng
第十六章深度学习中的结构化概率模型	结构化概率模型	@xuanming
第十七章蒙特卡罗方法	蒙特卡洛方法	@xuanming
第十八章面对配分函数
第十九章近似推断
第二十章深度生成模型	玻尔兹曼机有向生成网络生成对抗网络	@vistep @daweicheng @swordyork
参考文献

还有很多同学提出了不少建议，我们都列在此处。

@endymecy ...

如有遗漏，请务必通知我们，可以发邮件至echo c3dvcmQueW9ya0BnbWFpbC5jb20K | base64 --decode。这是我们必须要感谢的，所以不要不好意思。

zht022/simplified-deeplearning

DeepLearningBook读书笔记

前言

目录

致谢