Machine_Learning文件夹的代码主要是《机器学习实战》,我将其转化为了3.6版本
Summary文件夹是我在学习机器学习中,对不同算法的一个总结
- L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
- L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合
具体解释可以见这篇文章
另外这篇文章用另外的方法介绍了两者的区别和联系
- 提高收敛速度,若不采用归一化,模型很难收敛甚至不收敛。
- 归一化有可能提高模型的精度。
- 归一化的类型:1.线性归一化(即减去最小值然后除以范围)(适合数据比较集中的情况);2.z分数归一化(即0均值)(经过处理的数据符合正太分布);3.非线性归一化(利用数学函数进行映射)(适合数据分化比较大的场景)
感谢这位博主
还有这篇文章,讲得也比较清楚
防止过拟合的方法有:
- 引入正则化
- dropout(常用于神经网络,随机抛弃部分神经元)
- 提前终止训练
- 增加样本数量