Visualize-ML/Book7_Visualizations-for-Machine-Learning

ch25谱聚类的一些疑惑

Closed this issue · 2 comments

我知道拉普拉斯矩阵半正定是个多维超椭球,且有一个最短轴0,但次短轴长度也就是第二小特征值为什么就代表了图节点的连通性,且他的特征向量为什么就能很好的线性分割每个簇呢?L的瑞利商可以表示为每个点的标签做差值的平方和,最小的非0瑞利商就是第二小特征值,但这意味着什么,这一章的内容不是很好理解,有没有哪里有比较详细的资料可以证明这个的呢

我好像悟了,精髓好像就是这个argmin X^T@L@X代表了遍历每个边,计算边两端点标签的差值平方和,其中X就是你要找的最优分类标签,如果这个X找的足够好,那么遍历的所有边两端点几乎都是一个簇内的,也就是差值平方和为0,只有极少数的边是跨簇的,跨簇的边两端点差值平方和就是对X^T@L@X的主要贡献了,会让X^T@L@X大于0,优化问题就是要让这个大于0的X^T@L@X也尽可能的小,那最小也只能是非0轴的最短的那根轴了,也就是第二小特征值,此时的特征向量就是我们想找的最优簇标签,所以同一个簇的值(也就是标签,也就是特征向量里的元素)都是几乎一样的,不同簇的值是差异很大的
image

image
多个(4个)簇的eigen vector就像这样子