Subranium/Neural-network

Neural-network

Neural-network

基础内容框架源自：microsoft/ai-edu(个人非常推荐的一套教程)

What I cannot create, I do not understand.

如果我不能亲手搭建起来一个东西，那么我就不能理解它。 -- 美国物理学家理查德·费曼

符号约定

符号	含义
$$x$$	训练用样本值
$$x_{1}$$	第一个样本或样本的第一个特征值，在上下文中会有说明
$$x_{12},x_{1,2}$$	第1个样本的第2个特征值
$$X$$	训练用多样本矩阵
$$y$$	训练用样本标签值
$$y_1$$	第一个样本的标签值
$$Y$$	训练用多样本标签矩阵
$$z$$	线性运算的结果值
$$Z$$	线性运算的结果矩阵
$$Z_1$$	第一层网络的线性运算结果矩阵
$$σ$$	激活函数
$$a$$	激活函数结果值
$$A$$	激活函数结果矩阵
$$A_1$$	第一层网络的激活函数结果矩阵
w	权重参数值
$$w_{12},w_{1,2}$$	权重参数矩阵中的第1行第2列的权重值
$$w1_{12},w1_{1,2}$$	第一层网络的权重参数矩阵中的第1行第2列的权重值
$$W$$	权重参数矩阵
$$W_1$$	第一层网络的权重参数矩阵
$$b$$	偏移参数值
$$b_1$$	偏移参数矩阵中的第1个偏移值
$$b2_1$$	第二层网络的偏移参数矩阵中的第1个偏移值
$$B$$	偏移参数矩阵（向量）
$$B1$$	第一层网络的偏移参数矩阵（向量）
$$X^T$$	X的转置矩阵
$$X^{−1}$$	X的逆矩阵
$$loss,loss(w,b)$$	单样本误差函数
$$J,J(w,b)$$	多样本损失函数

在后面的讲解中，我们一般会使用如下方式进行：

1. 提出问题：先提出一个与现实相关的假想问题，为了由浅入深，这些问题并不复杂，是实际的工程问题的简化版本。
2. 解决方案：用神经网络的知识解决这些问题，从最简单的模型开始，一步步到复杂的模型。
3. 原理分析：使用基本的物理学概念或者数学工具，理解神经网络的工作方式。
4. 可视化理解：可视化是学习新知识的重要手段，由于我们使用了简单案例，因此可以很方便地可视化。