MathForMachineLearning
机器学习之数学基础系列
包括三个内容：《机器学习之概率与统计推断》、《机器学习之矩阵》、《机器学习之凸优化》。机器学习是一门集概率论、线性代数、数值计算、最优化理论和计算机科学等多个领域的交叉学科。本系列知识以机器学习中的数学基础为主要内容，摆脱传统的讲概念、记公式、解体的数学学习模式，避开冗长的数学证明，从现实任务出发，让听众在短时间内完美补充概率与统计、线性代数和凸优化等数学基础知识，从而快速上手机器学习。
第一部分：机器学习之概率与统计推断
理解概率和统计基本概念，会利用合适的概率分布解释机器学习算法原理，运用统计知识求解机器学习模型参数，为后续的机器学习打下扎实的数学基础。
知识点
Part1：随机变量及其分布
- 概率公理及推论
- 随机事件之间的关系：条件概率、贝叶斯公式
- 随机变量及其分布： pmf/pdf、CDF、均值、方差、分位数
- 常用随机变量分布：离散型随机变量、连续性随机变量
- 概率密度估计
- 应用：Kaggle竞赛数据分析（直方图／核密度估计）、xgboost近似搜索（分位数）
Part2：多元随机向量及其分布
- 联合概率、边缘概率、条件概率、条件独立
- 常用多元分布
- 朴素贝叶斯
- 应用：MRF、CRF、RBM
Part3：极大似然估计
- 极大似然估计：似然函数、极大似然估计
- 估计评价：偏差-方差分解、Bootstrap
- 应用：线性回归参数估计、logistic回归参数估计
Part4：贝叶斯估计
- 贝叶斯估计：先验/共轭先验、似然、后验、最大后验估计
- 正则
- 应用：岭回归、Lasso
第二部分：机器学习之矩阵
知识点
Part1：矩阵初步
- 矩阵的基本概念： （1）实数、向量、矩阵、张量 （2）矩阵和向量的关系 （3）矩阵和方程组的关系 （4）特殊矩阵：单位矩阵，数量矩阵，对角矩阵，三角矩阵
- 矩阵的基本运算： （1）矩阵的加、减、乘（数乘和矩阵乘法）、除，转置（对称矩阵），求行列式 （2）方程组的矩阵表示 （3）矩阵三个初等变换 （4）矩阵的逆、秩、迹
Part2：矩阵变换和线性空间
- 线性空间 （1）线性的概念、线性相关、线性表示（线性组合）和方程组的关系 （2）线性空间、线性子空间（生成子空间）、向量组的值域和核 （3）线性空间的范数、范数（p=1、2、）、矩阵的Frobenius范数
- 矩阵分解 （1）特征分解、正交分解、正定（半正定）矩阵、正定矩阵和特征分解之间的关系、SVD分解（Moore-Penrose伪逆） （2）应用举例：PCA
Part3：矩阵求导
- 梯度向量、Hessin矩阵、方向导数、多元函数泰勒展开、梯度下降
- 应用举例：最小二乘法
第三部分：机器学习之凸优化
知识点
Part1：机器学习与优化方法简介与关系
- 机器学习简介
- 优化问题求解与凸优化
- 典型案例：支持向量机与深度学习
Part2：求解凸优化问题的算法
- 传统凸优化求解方法、一阶与二阶优化方法
- 机器学习问题求解的现成工具
- 案例：支持向量机中的凸优化方法
Part3：深度学习与非凸优化
- 深度学习简介
- 深度模型训练中的优化问题
- 案例分析：深度学习中的梯度下降算法