MathForMachineLearning
机器学习之数学基础系列
包括三个内容:《机器学习之概率与统计推断》、《机器学习之矩阵》、《机器学习之凸优化》。机器学习是一门集概率论、线性代数、数值计算、最优化理论和计算机科学等多个领域的交叉学科。本系列知识以机器学习中的数学基础为主要内容,摆脱传统的讲概念、记公式、解体的数学学习模式,避开冗长的数学证明,从现实任务出发,让听众在短时间内完美补充概率与统计、线性代数和凸优化等数学基础知识,从而快速上手机器学习。
机器学习之概率与统计推断
第一部分:理解概率和统计基本概念,会利用合适的概率分布解释机器学习算法原理,运用统计知识求解机器学习模型参数,为后续的机器学习打下扎实的数学基础。
知识点
Part1:随机变量及其分布
- 概率公理及推论
- 随机事件之间的关系:条件概率、贝叶斯公式
- 随机变量及其分布: pmf/pdf、CDF、均值、方差、分位数
- 常用随机变量分布:离散型随机变量、连续性随机变量
- 概率密度估计
- 应用:Kaggle竞赛数据分析(直方图/核密度估计)、xgboost近似搜索(分位数)
Part2:多元随机向量及其分布
- 联合概率、边缘概率、条件概率、条件独立
- 常用多元分布
- 朴素贝叶斯
- 应用:MRF、CRF、RBM
Part3:极大似然估计
- 极大似然估计:似然函数、极大似然估计
- 估计评价:偏差-方差分解、Bootstrap
- 应用:线性回归参数估计、logistic回归参数估计
Part4:贝叶斯估计
- 贝叶斯估计:先验/共轭先验、似然、后验、最大后验估计
- 正则
- 应用:岭回归、Lasso
机器学习之矩阵
第二部分:知识点
Part1:矩阵初步
- 矩阵的基本概念: (1)实数、向量、矩阵、张量 (2)矩阵和向量的关系 (3)矩阵和方程组的关系 (4)特殊矩阵:单位矩阵,数量矩阵,对角矩阵,三角矩阵
- 矩阵的基本运算: (1)矩阵的加、减、乘(数乘和矩阵乘法)、除,转置(对称矩阵),求行列式 (2)方程组的矩阵表示 (3)矩阵三个初等变换 (4)矩阵的逆、秩、迹
Part2:矩阵变换和线性空间
- 线性空间 (1)线性的概念、线性相关、线性表示(线性组合)和方程组的关系 (2)线性空间、线性子空间(生成子空间)、向量组的值域和核 (3)线性空间的范数、范数(p=1、2、)、矩阵的Frobenius范数
- 矩阵分解 (1)特征分解、正交分解、正定(半正定)矩阵、正定矩阵和特征分解之间的关系、SVD分解(Moore-Penrose伪逆) (2)应用举例:PCA
Part3:矩阵求导
- 梯度向量、Hessin矩阵、方向导数、多元函数泰勒展开、梯度下降
- 应用举例:最小二乘法
机器学习之凸优化
第三部分:知识点
Part1:机器学习与优化方法简介与关系
- 机器学习简介
- 优化问题求解与凸优化
- 典型案例:支持向量机与深度学习
Part2:求解凸优化问题的算法
- 传统凸优化求解方法、一阶与二阶优化方法
- 机器学习问题求解的现成工具
- 案例:支持向量机中的凸优化方法
Part3:深度学习与非凸优化
- 深度学习简介
- 深度模型训练中的优化问题
- 案例分析:深度学习中的梯度下降算法