Albertsr/Machine-Learning

LR / SVM / XGBoost / RandomForest etc.

• Author： Maxiao
• E-Mail： maxiaoscut@aliyun.com
• GitHub： https://github.com/Albertsr

---

备注：

1. 以下链接均为个人原创整理，理论部分主要为有道云笔记MarkDown文件

2. 部分Markdown文件包含大量LaTeX数学公式，请耐心等待加载

---

第一部分：机器学习算法

1. 经典非集成监督算法

1.1 【逻辑回归】理论详解：Logistic Regression

1.2 【决策树】理论详解：Decision Tree

1.3 【朴素贝叶斯】理论详解： Naive Bayesian

1.4 【支持向量机】理论详解

• 1）凸二次规划、拉格朗日对偶性与KKT条件

• 2）硬间隔最大化

• 3）软间隔最大化

• 4）Kernel Trick

---

2. 集成算法

2.1 Boosting

• 1）GBDT：GBDT理论详解

• 2）GBDT+LR：GBDT与LR的融合理论详解

  • 代码：lightgbm_lr.py
  • 代码：xgboost_lr.py
  • 代码：gbdt_lr.py
  • GBDT系列算法与LR融合与性能对比

  

• 3）XGBoost：XGBoost理论详解

  • 自定义损失函数：

    • Jupyter：XGB自定义损失.ipynb
    • 代码：xgb_custom_lossfunc.py

    

  • 通过early_stopping确定合理的基学习器个数：

    • Jupyter：early_stopping_rounds
    • 代码：xgb_early_stopping.py

  

• 4）AdaBoost：AdaBoost详解

• 5) LightGBM：LightGBM详解

---

2.2 Bagging

• Bagging减少variance，Boosting减少bias

2.3 Stacking

• 1）Stacking：Stacking详解

• 2）二级Stacking的个人实现：stacking_models.py

• 3）个人实现与Mlxtend对比： stackingmodels_vs_mlxtend.py

---

3. 聚类

3.1 常见聚类算法原理

• 1）Spectral Clustering详述

  • 瑞利商的性质及其证明
  • 拉普拉斯矩阵的最小特征值

• 2）密度聚类DBSCAN

• 3）K均值聚类KMeans

• 4）层次聚类BIRCH

3.2 最佳聚类参数

• 基本**： 运用GridSearch的思路在参数的笛卡尔积中寻找最佳聚类参数
• 代码实现：cluster_centers.py

---

第二部分：机器学习重要模块

1. 数据探索

• 1.1 综述：数据探索分析

• 1.2 对多个数据进行探索性分析

  • 1）对Titanic数据集进行探索

  • 2）回归问题中的相关系数矩阵与热力图(以Boston数据集为例)

  • 3）对iris数据集进行数据探索

---

2. 数据预处理

• 2.1 数据预处理综述

• 2.2 数据的标准化、归一化与正则化

• 2.3 One-Hot 编码

• 2.4 特征共线性问题

• 2.5 非正态分布数据的处理

---

3. 特征工程

3.1 特征选择

• 1）三大特征选择理论综述

• 2）Filter：filter.py

• 3）Wrapper：wrapper.py

• 4）Embedded：embedded.py

3.2 特征抽取

• 1）PCA理论详解

  • 奇异值分解(SVD)实现PCA：pca_svd.py
  • 特征值分解(EVD)实现PCA：pca_evd.py

• 2）KernelPCA理论详解

  • KernelPCA重构矩阵：KernelPCA重构矩阵理论分析
  • KernelPCA异常检测：Recon_Error_KPCA.py

• 3）SVD理论详解

  • 验证：sklearn采用SVD实现PCA.ipynb
  • 运用TruncatedSVD进行图像处理：truncated_svd_cat

3.3 特征构建

• 1）离散型特征

  • 生成哑变量：OneHotEncoder + pandas.get_dummies

  • 高基数类别特征的处理

    • 代码：high_categorical.py
    • 实例：处理150个不重复取值的邮政编码

• 2）时间型特征的处理

  • 代码：create_time_feature.py
  • 实例：根据时间戳生成时间型索引&透视分析.ipynb

• 3）连续型特征的处理

  • 连续型特征的分箱处理.ipynb
  • 长尾数据的处理.ipynb

---

4. 模型评估

4.1 交叉验证与常见评估指标

• 1）交叉验证
• 2）分类与回归模型评估

4.2 加权覆盖率

• 出处：蚂蚁金服-风险大脑-支付风险识别大赛(第一赛季)

• 代码实现：coverage.py

• 定义：

  

4.3 G-Mean

• 出处： Addressing the Curse of Imbalanced Training Sets: One-Sided Selection [Miroslav Kubat, Stan Matwin; 1997]

• 代码实现： gmean.py

• 定义：

  

4.4 KS值

• 1）KS值定义： max(TPR-FPR)

• 2）KS值代码实现：ks_value.py

• 3）KS绘制曲线代码：ks_curve.py

4.5 ROC曲线与PRC曲线的绘制

• 1）ROC绘制代码：roc.py

  

• 2）PRC绘制代码：prc.py

  

• 3）综合：绘制KS、ROC、PRC曲线.ipynb

---

5. 模型持久化

• 运用joblib序列化各反序列化机器学习模型： joblib.py

• 运用pickle序列化/反序列化机器学习模型： pickle.py

---

第三部分：基础知识

1. 最优化

• 1.1 泰勒展开式与梯度下降法

• 1.2 牛顿法与拟牛顿法

• 1.3 梯度下降法 vs 牛顿法

2. 损失函数

• 2.1 六大损失函数

• 2.2 熵、KL散度、交叉熵

• 2.3 Huber Loss & Fair Loss

• 2.4 经验风险、期望风险、结构风险

3. 其他

• 3.1 Bias-Variance Tradeoff

• 3.2 生成模型与判别模型

---