fengyang95/tiny_ml

numpy 实现的 周志华《机器学习》书中的算法及其他一些传统机器学习算法

tinyml

利用numpy实现的一些周志华《机器学习》（西瓜书）一书及 斯坦福cs229课程中的算法，宜配合西瓜书和cs229课件食用。并选择性实现了一些经典算法的简易版本， 如 按照陈天奇的slides实现的XGBRegressor。

已经实现的算法

• 线性模型
• LinearRegression 线性回归闭式解推导
• LogisticRegression 逻辑回归相关推导
• SGDRegressor
• LocallyWeightedLinearRegression
• 判别分析
• LDA
• GDA
• 决策回归树
• DecisionTreeClassifier
• DecisionTreeRegressor
• 支持向量机
• SVC
• 贝叶斯
• NaiveBayesClassifier
• 聚类算法
• KMeans
• LVQ
• GaussianMixture
• DBSCAN
• AGNES
• 降维算法
• MDS
• PCA
• KernelPCA
• LLE
• Isomap
• 集成学习
• AdaBoostClassifier
• GradientBoostingRegressor
• RandomForestRegressor
• XGBRegressor
• 特征选择
• ReliefFeatureSelection

和sklearn实现的比较

• 回归算法结果 代码

Algorithm vs. RMSE	sklearn-boston
	tinyml	sklearn
LinearRegression	27.196	27.196
SGDRegressor	27.246	27.231
DecisionTreeRegressor	21.887	21.761
RandomForestRegressor	21.142	21.142
GradientBoostRegressor	16.778	16.106
XGBRegressor	20.149	15.7

• 分类算法结果 代码

Algorithm vs. RMSE	sklearn-breast_cancer
	tinyml	sklearn
NaiveBayes	90.64%	90.64%
LogisticRegression	92.98%	92.98%
LDA	94.15%	92.40%
GDA	92.40%	93.57%
SVC	86.55%	92.98%
AdaboostClassifier	92.40%	92.40%

• 聚类算法比较 代码
• KMeans

• DBSCAN

• GMM

• AGNES

• 降维算法比较 代码
• PCA

• KernalPCA

• LLE

• MDS