对决策树进行改写,在每个节点(有K个可用属性)选择属性时首先随机选择log(1+K)个属性,之后仅从这些属性中选择用于分裂节点的属性。
整体上随机森林由多棵随机属性的决策树构成,通过装袋方法构造。每次构造使用有放回均匀抽样构造样本集并训练决策树,分类时,每棵树都投票并且返回得票最多的类。
AdaBoost是一种提升算法,通过串行的训练多个具有权值的分类器来提高组合分类器的准确率。每次训练首先依据样本权值进行有放回抽样得到样本集,训练结束后对得到分类器在训练集上进行分类,得到错误率和该分类器的权值,并对训练集中的样本权值进行调整,使得后续的分类器训练更加专注于之前分类错误的样本。分类时,每个分类器都投票并根据分类器自身的权值进行加权,最后得到权值最大的类。