chAwater/MachineLearningFoundations

Linearly Dependent and VC

Opened this issue · 1 comments

Lecture 7: VC Dimension

在证明对于 d-D Perceptrons 有 dVC = d+1 时提到:

对于矩阵 X (d+2 x d+1),因为其 行数多于列数,所以存在 线性相关 关系;

为什么?

对于学过线性代数的同学来说,这是个简单的问题。


此外,还希望有人能帮我 改进 这段证明的解释。

学习了线性代数就明白了:

在 n 维空间中,如果有 m > n 个向量,那么这 m 个向量一定存在线性相关关系,
因为在 n 维空间中最多就只有 n 个相互独立的向量(每个维度都是单位向量的 n 个向量)

具体可以参见线性代数中的矩阵的 Reduce Row Echelon Form (RREF)。