Processing math: 100%

1 votos

¿Por qué hay una pérdida de reconstrucción en el PCA con vectores propios ortonormales?

Ya he leído ¿Cómo invertir el ACP y reconstruir las variables originales a partir de varios componentes principales? y entiendo conceptualmente y visualmente por qué tiene que haber una pérdida de reconstrucción.

Sin embargo, si tenemos una matriz de datos X y sus vectores propios ortonormales V y luego tomar la primera k eigenvectores y hacer una aproximación de bajo rango: Z=XVk

Con Vk siendo ortonormal, ¿no debería ser X=XVkVTk porque I=VkVTk ?

¿Tal vez alguien pueda dar un ejemplo de por qué esto es exactamente incorrecto? Una respuesta perfecta proporcionaría un simple ejemplo numérico y/o una explicación de lo que me estoy perdiendo aquí.

3voto

Su confusión surge del hecho de que no tenemos VkVTkI en general. Si k=K es decir, el número de rasgos, se garantiza que es cierto. La ortogonalidad de los vectores propios produce VTkVk=I no VkVTk=I . Porque, VTkVk=[vT1vTk][v1vk]=[vT1v1vT1v2vT1vkvT2v1vT2v2vT2vkvTkv1vTkv2vTkvk]=[100010001]=I Pero, en VkVTk no tenemos el escenario anterior: VkVTk=[v1vk][vT1vTk]=v1vT1++vkvTkin generalI que se compone de exterior productos de vectores propios; no interior productos como en el caso anterior.

3voto

Alex Puntos 9

Para dar una respuesta corta, si se toman sólo k vectores propios entonces Vk es un nxk Matriz. Por lo tanto, al multiplicar por VkT (poner en el lado derecho, es decir VkVkT ) produce un nxn Matriz que no es la nxn matriz de identidad I. Esto se debe a que cuando se toma sólo un subconjunto de vectores propios, entonces la matriz reducida de vectores propios no es de rango n (es de rango k, por lo tanto de rango completo de columnas) y como tal no es invertible (más precisamente aquí debemos decir "no tiene ninguna inversa correcta"). En efecto, VkT es sólo el pseudoinverso de Vk (pseudoinverso de Moore Penrose), que es (si se quiere, en pocas palabras) el "mejor proxy de un inverso" pero no un inverso. En efecto, en este caso, sólo VkTVk es un kxk Matriz de identidad, como VkT es la inversa izquierda de Vk pero multiplicando Vk por su inverso izquierdo puesto en el lado derecho produce un nxn Matriz que es diferente de I (porque, como se ha dicho, es la inversa de la izquierda y no la inversa de la derecha). Para más referencias, consulte la Wikipedia Pseudoinverso de Moore Penrose y inversa generalizada y muy buena fuente para la inversa de una matriz incluyendo la inversa derecha e izquierda

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X