/Gaussian-Mixture-Model

Learning Gaussian Mixture Model and Evaluation Maximum

Primary LanguageJupyter Notebook

Learning Gaussian Mixture Model

Illustration for updating sigma

fixing sigma square root bug

multi-model

before updating sigma

before_sigma

after updating sigma

after_sigma

Questions

  1. 在训练高斯混合模型的时候，每个模型的权重有几个？ 是每个数据点对每个模型就有一个权重？ 还是每个模型只有一个权重，所有的样本点对该模型使用相同的权重？

根据《统计学习方法》，应该是每个模型对应一个权重。这样确实可以使新数据有更好的适应性。

Problems

  1. 在计算高斯函数的时候，出现溢出现象。 原因是 exp((digit - self.miu) ** 2 / (2 * (self.sigma ** 2))) / (sqrt(2 * pi) * self.sigma) 因为加上了指数，很容易出现上溢的情况。 而这里我记错了 exp 里面的变量是因为加上负号的。

  2. 在更新 sigma 的时候，没有求平方根。

参考

《统计学习方法》