学习来源:炼数成金的《深度学习框架TensorFlow学习与应用》视频 + 网上博客内容 。
视频目录:
第 1周 Tensorflow简介,Anaconda安装,Tensorflow的CPU版本安装
第 2周 Tensorflow的基础使用,包括对图(graphs),会话(session),张量(tensor),变量(Variable)的一些解释和操作
第 3周 Tensorflow线性回归以及分类的简单使用
第 4周 softmax,交叉熵(cross-entropy),dropout以及Tensorflow中各种优化器的介绍
第 5周 卷积神经网络CNN的讲解,以及用CNN解决MNIST分类问题
第 6周 使用Tensorboard进行结构可视化,以及网络运算过程可视化
第 7周 递归神经网络LSTM的讲解,以及LSTM网络的使用
第 8周 保存和载入模型,使用Google的图像识别网络inception-v3进行图像识别
第 9周 Tensorflow的GPU版本安装。设计自己的网络模型,并训练自己的网络模型进行图像识别
第10周 使用Tensorflow进行验证码识别
第11周 Tensorflow在NLP中的使用(一)
第12周 Tensorflow在NLP中的使用(二)
说明:实际第 5 周讲的是 Tensorborad 结构可视化,第 6 周讲的是 CNN,下面视频中链接里的文件夹顺序,我已修正。
(1) 在线观看:
- YouTube:tensorflow教程(十课)
- 或 B 站:《深度学习框架TensorFlow学习与应用》
(2) 下载:
- 《深度学习框架Tensorflow学习与应用》(含视频+代码+课件,视频总时长:13小时31分钟) 【百度网盘下载 密码: 1a8j】
- 《深度学习框架Tensorflow学习与应用[只有videos-720p]》(该份资料只有视频文件) 【 百度网盘下载 密码: i3e2】
其他学习视频(觉得有必要可以看看~):
- 油管视频:TF Girls 修炼指南 或 B 站观看: TF Girls 修炼指南
- 油管视频:51CTO视频 深度学习框架-Tensorflow案例实战视频课程、或 B 站观看:深度学习框架-Tensorflow案例实战视频课程
- Tensorflow 教程系列 | 莫烦Python
(3) 相关资料:
- 郑泽宇/顾思宇:《Tensorflow:实战Google深度学习框架》 出版时间 2017-2-10
- 官方维护的书中的 TensorFlow 不同版本的示例程序仓库:https://github.com/caicloud/tensorflow-tutorial;
- GitHub 有人写了笔记:TensorFlow_learning_notes
- 黄文坚/唐源:《TensorFlow实战》 出版时间 2017-2-1
- 掘金翻译:TensorFlow 最新官方文档中文版 V1.10
- 极客学院:TensorFlow 官方文档中文版
- TensorFlow 官方文档中文版
学习 TensorFlow 之前,先学习掌握以下内容,包括 Python 基础、Anconada 安装等等:
- IDE之PyCharm的设置和Debug入门
- Python基础入门笔记(一)
- Python基础入门笔记(二)
- Python内置库和函数使用及常见功能实现记录
- Python 网上博文:
- Anaconda的介绍、安装和环境管理
- Jupyter Notebook的介绍、安装及使用
- 深度学习硬件选购及tensorflow各系统下的环境搭建
- Python常用科学计算库快速入门(NumPy、SciPy、Pandas、Matplotlib、Scikit-learn) | 更详细的学习见:
- scikit-learn 学习,网上资料:
- Sklearn Universal Machine Learning Tutorial Series | 莫烦Python
- scikit-learn教程 - scikit-learn 0.20.2文档
- scikit-learn(sklearn) 中文文档 - ApacheCN
- 混淆矩阵及confusion_matrix函数的使用 - 可用于计算准确率 Accuracy、精确率 Precision、召回率 Recall、IoU 等评价指标。 [荐]
- Python图像处理笔记(含opencv-python/PIL/scikit-image/libtiff/gdal库等等) | 可能用到 matlab,同时学习下:matlab的安装和学习
其他:
- 深度学习框架对比.md
- python的Tqdm模块 - 可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器。
- ……
《深度学习框架Tensorflow学习与应用》笔记索引(其中会有补充一些内容):
- 01-Tensorflow简介,Anaconda安装,Tensorflow的CPU版本安装
- 02-Tensorflow的基础使用,包括对图(graphs),会话(session),张量(tensor),变量(Variable)的一些解释和操作
- 03-Tensorflow线性回归以及分类的简单使用
- 开始以手写数字识别 MNIST 例子来讲解,关于 MNIST 的内容还可以看看该 README 下面的
- 04-softmax,交叉熵(cross-entropy),dropout以及Tensorflow中各种优化器的介绍
- softmax、损失函数、dropout
- tensorflow 中各种优化器
- 在(三)节开始的代码
4-1交叉熵.py
,发现 tf.nn.softmax_cross_entropy_with_logits 用法的小问题,详见-传送
- 05-使用Tensorboard进行结构可视化,以及网络运算过程可视化
- 用例子演示如何使结构的可视化
- 参数细节的可视化,绘制各个参数变化情况
- 补充内容:可视化工具 TensorBoard 更多使用和细节
- 06-卷积神经网络CNN的讲解,以及用CNN解决MNIST分类问题
- 卷积神经网络 CNN(包括局部感受野、权值共享、卷积、二维池化、多通道池化等)
- 补充内容:参数数量的计算(以 LeNet-5 为例子)
- 补充内容:TensorFlow 中的 Padding 到底是怎样的?
- 补充内容:TensorFlow 中的卷积和池化 API 详解
- 补充内容:TensorFlow 中的 Summary 的用法
- 07-递归神经网络LSTM的讲解,以及LSTM网络的使用
- 08-保存和载入模型,使用Google的图像识别网络inception-v3进行图像识别
- 保存模型、加载模型
- 使用 Inception-v3 网络模型进行图像识别
- 补充内容:加载预训练模型和保存模型以及 fine-tuning
- 补充内容:迁移学习
- 09-Tensorflow的GPU版本安装。设计自己的网络模型,并训练自己的网络模型进行图像识别
- TensorFlow 的 GPU 版本安装
- 使用 inception-v3 模型进行训练预测
- 使用 tensorflow 已经训练好的模型进行微调
- 制作
.tfrecord
存储文件
- 10-使用Tensorflow进行验证码识别
- 11-Tensorflow在NLP中的使用(一)
- 12-Tensorflow在NLP中的使用(二)
笔记补充:
- 对 TensorFlow 的再次理解和总结:TensorFlow的理解和总结
- 对 TensorFlow 的 API 使用记录下来,方便查阅::mag_right: TensorFlow的API详解和记录 【荐】 ,另外,这里没记录和没记全的内容通过下面【网上博文】找找看!!!
- TensorFlow 使用指定的 GPU 以及显存分析:tensorflow中使用指定的GPU及显存分析
-
Keras中的多分类损失函数categorical_crossentropy
注意:当使用
categorical_crossentropy
损失函数时,你的标签应为多类模式,例如如果你有 10 个类别,每一个样本的标签应该是一个 10 维的向量,该向量在对应有值的索引位置为 1 其余为 0。可以使用这个方法进行转换:
from keras.utils.np_utils import to_categorical categorical_labels = to_categorical(int_labels, num_classes=None)
以 mnist 数据集为例:
from keras.datasets import mnist (X_train, y_train), (X_test, y_test) = mnist.load_data() y_train = to_categorical(y_train, 10) y_test = to_categorical(y_test, 10) ... model.compile(loss='categorical_crossentropy', optimizer='adam') model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)
-
keras中的回调函数 [荐]
损失函数:
- 关于损失函数(或代价函数):Tensorflow基础知识---损失函数详解 | 深度学习中常用的损失函数有哪些(覆盖分类,回归,风格化,GAN等任务)? [荐]
- 自定义损失函数:tensorflow内置的四个损失函数 [荐] | 自定义损失函数 | 二分类、多分类与多标签问题的区别,对应损失函数的选择,你知道吗? - 掘金 [荐]
- 损失函数loss大大总结 | 从loss处理图像分割中类别极度不均衡的状况---keras | 语义分割 各种loss实现 python | 语义分割中常用的损失函数2(进阶篇)
优化器:
- 关于 tensorflow 中优化器:个人笔记-优化器参数详解(learning rate、weight decay、momentum、滑动平均等) [荐] | 第三章(1.5)关于tensorflow优化器 optimizer 的选择 [荐] | 深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam) [荐]
分类器:
其他:
- CNN网络架构演进:一文总览CNN网络架构演进:从LeNet到DenseNet [荐]
- 学习使用 TensorBoard 可视化:详解 TensorBoard-如何调参 | [干货|实践] TensorBoard可视化 - 知乎
- tensorflow 模型的保存和读取:TensorFlow学习笔记(8)--网络模型的保存和读取
- fine-tuning:tensorflow从已经训练好的模型中,恢复(指定)权重(构建新变量、网络)并继续训练(finetuning) [荐]
- ……
数学:
Batch Normalization:
参考「机器之心」编译文章: