¿Puede la pseudoinversa de Moore-Penrose resolver un sistema lineal subdeterminado?

Question

Gracias por leer mi hilo.

Estoy pensando que muchos de nosotros sabemos que el pseudoinverso de Moore-Penrose puede resolver un sistema sobredeterminado $Ax=b$ , donde $x=(A^TA)^{-1}A^Tb$ para la aplicación de regresión lineal, o aplicaciones de ajuste de curvas.

Sin embargo, me pregunto si para un sistema indeterminado podemos utilizar el solucionador pseudoinverso de Moore-Penrose. Si es así, ¿por qué necesitamos muchos algoritmos de reconstrucción iterativos? Dado que podemos conocer la derivada del objetivo de todos modos, entonces ¿por qué no acaba de establecer la derivada a 0, a continuación, resolver utilizando algunas habilidades como Moore-Penrose pseudoinverse?

Se agradece mucho alguna explicación en teoría. No tiene que ser una prueba rigurosa, sino algo que tenga sentido. Muchas gracias.

Answer 1

Si $A^TA$ no es positiva definida (o no es invertible, o equivalentemente algunos de sus valores propios son cero), entonces podemos utilizar la inversa de Moore-Penrose, o podemos utilizar la regularización de Tikhonov.

La regularización de Tikhonov calcula la inversa regular de $(A^TA+\epsilon I)$ para algunos pequeños $\epsilon$ y utiliza este inverso en su lugar.

La inversa de Moore-Penrose se basa básicamente en la descomposición SVD de $A^TA$ diga $V\Lambda V^T$ , donde $V$ es una matriz unitaria y $\Lambda$ es una matriz diagonal. Entonces $(A^TA)^{-1}=V\Lambda^{-1} V^T$ si un elemento $\lambda_i$ (un valor singular) en la diagonal de $\Lambda$ no es cero, entonces lo sustituimos por $1/\lambda_i$ en $\Lambda^{-1}$ pero si es cero, ponemos el elemento correspondiente a cero en $\Lambda^{-1}$ .

Ahora podemos responder a tu pregunta, sobre por qué la gente utiliza soluciones iterativas. Puede haber varias razones, una es cuando tienes otras restricciones en la variable $x$ entonces $(A^TA)^{-1}A^Tb$ no es la solución. Pero la razón principal es que para la gran escala $A$ El cálculo de la descomposición SVD, por ejemplo, puede ser costoso y, al mismo tiempo, puede no ser eficiente en cuanto a la memoria. A veces no se tiene acceso a la totalidad de la $A$ y sólo puede observar una representación dispersa de la misma, y así sucesivamente.