探索人工智能 是一个自主学习项目，围绕项目主题了解什么是智能，有哪些人工智能的应用，以及如何实现人工智能。该项目记录学习过程中的想法，寻找到的资料，动手实践的成果。
- 写给正在填报志愿并对CS/AI感兴趣的考生们-2019
- 《Deep Learning》Chapter 5 - Machine Learning Basics / 第5章-机器学习基础
- 《Deep Learning》Chapter 9 - Convolutional Networks / 第9章-卷积网络，不适合初学者看，不过其中一节讲述了视觉皮层的结构和功能比较有趣。
- 《Neural Networks and Deep Learning》Chapter 6 - Deep Learning / 第6章-深度学习，通过讲解卷积神经网络学习深度学习，适合初学者学习。
- ImageNet Classification with Deep Convolutional Neural Networks 2012年这篇论文引发了深度学习的热潮，值得了解下。
- 《Neural Networks and Deep Learning》Learning with gradient descent / 学习梯度下降，简洁易懂。
- 《Neural Networks and Deep Learning》Chapter 2 - How the backpropagation algorithm works / 第2章-向后传播算法，训练神经网络的基本算法，必须得了解。
- 《Neural Networks and Deep Learning》Chapter 3 - Improving the way neural networks learn / 第3章-改善神经网络学习的方法，在该章节中了解交叉熵损失函数，正则化的概念以及一些可用的方法包括权重衰减(L2 正则化)、L1 正则化、Dropout。
- Keras TensorFlow官网的 Keras 入门指南； Keras 是一个用于构建和训练深度学习模型的高级API；学习Keras为接下来动手实践做准备。
- 机器学习科研的十年，对要走机器学习之路的同学应该能带来一些启示。
- Fashion-MNIST，了解了下 Fashion-MNIST 数据集，在卷积网络的练习中使用。
- What is a batch-norm in machine learning?，在做卷积网络练习的时候为了提升模型在 Fashion-MNIST 的准确度，了解到有个叫 Batch Normalization 的方法可以提升模型效果，比起数据增强等其它的提升方法，Batch-Norm 更我让感兴趣，故学习学习。
- Batch normalization in Neural Networks，简单介绍 Batch Nomalization 的文章。
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift，Batch Normalization 原论文，拜读一下。
- GPU Support，Tensorflow 的 GPU 支持。 在2013年的 Macbook Pro 上使用 CPU 训练实在是太慢了，Fashion-MNIST 训练30轮需要半小时，把我暗影精灵3上的 Nvidia GTX 1060 利用起来。
- An Introduction to AdaGrad，在做卷积网络练习的时候采用了 AdaGrad 进行模型的训练；AdaGrad 的论文(Adaptive Subgradient Methods for Online Learning and Stochastic Optimization)太长了，所以找了篇入门文章简单了解下。
- TensorFlow - Low Level API：Introduction、Tensors、Variables、Graphs and Sessions 、AutoGraph: Easy control flow for graphs ；TensorFlow 的低级 API 入门；卷积网络练习的第一阶段已经达到了在 Fashion-MNIST 数据集上取得 93% 以上准确度的目标，开始进入练习的第二阶段，使用 TensorFlow 低级 API 实现第一阶段创建的模型。
- What's the difference of name scope and a variable scope in tensorflow?，在使用 TF 的变量时，没搞清楚定变量的命名空间的问题。
- 《动手学深度学习》softmax回归，回顾下 Softmax，在卷积网络练习种得自己实现下。
- TensorFlow Debugger，在实现 softmax 时候，发现输出得值总是 nan， 所以了解了如何调试 TensorFlow，期间尝试了 TensorBoard 和 CLI 两个调式方式，CLI 的方式比较好用些。
- How to Implement Minibatching in Tensorflow，如何在 TensorFlow 中实现小批量的样本输入。
- Data Input Pipeline Performance，TensorFlow 的数据输入管道。
练习分3个阶段：
- 第一阶段通过 Keras 的高级 API 搭建网络模型，使得模型在 Fashion-MNIST 数据集上取得 93% 以上的测试准确度；
- 第二阶段是将第一阶段的模型使用 Tesnforlow 的低级 API 实现；
- 第三阶段是将第一阶段的模型使用纯 Python 实现。
建模日志，将建模过程记录下来。
第一阶段:
- Keras 模型1 - keras_model_1.py，准确度为 92.05%。
- Keras 模型2 - keras_model_2.py，准确度为 92.24%。
- Keras 模型3 - keras_model_3.py，准确度为 94.38%。
第二阶段：
- TF 模型 - tf_model.py 和 tf_model_layers.py
第三阶段： 已放弃。
- 机甲大师 RoboMaster S1 - 大疆机器人， 6 类人工智能编程模块。
- Runway ML - Machine learning for creators；一个工具类产品，有多种机器学习的模型，比如图像生成，动作捕捉等，用于设计创造类的工作。