¿Por qué hay una pérdida de reconstrucción en el PCA con vectores propios ortonormales?

Question

Ya he leído ¿Cómo invertir el ACP y reconstruir las variables originales a partir de varios componentes principales? y entiendo conceptualmente y visualmente por qué tiene que haber una pérdida de reconstrucción.

Sin embargo, si tenemos una matriz de datos $\mathbf X$ y sus vectores propios ortonormales $\mathbf {V}$ y luego tomar la primera $k$ eigenvectores y hacer una aproximación de bajo rango: $\mathbf Z=\mathbf {XV_k}$

Con $\mathbf {V_k}$ siendo ortonormal, ¿no debería ser $\mathbf X=\mathbf {XV_k V^{T}_{k}}$ porque $I = \mathbf {V_k V^{T}_{k}}$ ?

¿Tal vez alguien pueda dar un ejemplo de por qué esto es exactamente incorrecto? Una respuesta perfecta proporcionaría un simple ejemplo numérico y/o una explicación de lo que me estoy perdiendo aquí.

Answer 1

Su confusión surge del hecho de que no tenemos $V_kV_k^T\neq I$ en general. Si $k=K$ es decir, el número de rasgos, se garantiza que es cierto. La ortogonalidad de los vectores propios produce $V_k^T V_k=I$ no $V_kV_k^T= I$ . Porque, $$V_k^T V_k=\begin{bmatrix}v_1^T\\\vdots \\v_k^T\end{bmatrix}\begin{bmatrix}v_1&\cdots&v_k\end{bmatrix}=\begin{bmatrix}v_1^Tv_1&v_1^Tv_2&\cdots&v_1^Tv_k\\v_2^Tv_1&v_2^Tv_2&\cdots&v_2^Tv_k\\\vdots&&\ddots&\vdots\\v_k^Tv_1&v_k^Tv_2&\cdots&v_k^Tv_k\end{bmatrix}=\begin{bmatrix}1&0&\cdots&0\\0&1&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&1\end{bmatrix}=I$$ Pero, en $V_kV_k^T$ no tenemos el escenario anterior: $$V_kV_k^T=\begin{bmatrix}v_1&\cdots&v_k\end{bmatrix}\begin{bmatrix}v_1^T\\\vdots \\v_k^T\end{bmatrix}=v_1v_1^T+\cdots+v_kv_k^T\underbrace{\neq}_{\text{in general}} I$$ que se compone de exterior productos de vectores propios; no interior productos como en el caso anterior.

Answer 2

Para dar una respuesta corta, si se toman sólo k vectores propios entonces $V^{k}$ es un $nxk$ Matriz. Por lo tanto, al multiplicar por $V^{kT}$ (poner en el lado derecho, es decir $V^{k}V^{kT}$ ) produce un $nxn$ Matriz que no es la $nxn$ matriz de identidad I. Esto se debe a que cuando se toma sólo un subconjunto de vectores propios, entonces la matriz reducida de vectores propios no es de rango n (es de rango k, por lo tanto de rango completo de columnas) y como tal no es invertible (más precisamente aquí debemos decir "no tiene ninguna inversa correcta"). En efecto, $V^{kT}$ es sólo el pseudoinverso de $V^{k}$ (pseudoinverso de Moore Penrose), que es (si se quiere, en pocas palabras) el "mejor proxy de un inverso" pero no un inverso. En efecto, en este caso, sólo $V^{kT}V^{k}$ es un $kxk$ Matriz de identidad, como $V^{kT}$ es la inversa izquierda de $V^{k}$ pero multiplicando $V^{k}$ por su inverso izquierdo puesto en el lado derecho produce un $nxn$ Matriz que es diferente de I (porque, como se ha dicho, es la inversa de la izquierda y no la inversa de la derecha). Para más referencias, consulte la Wikipedia Pseudoinverso de Moore Penrose y inversa generalizada y muy buena fuente para la inversa de una matriz incluyendo la inversa derecha e izquierda