¿Por qué habría de $(A^{\text T}A+\lambda I)^{-1}A^{\text T}$ estar cerca de $A^{\dagger}$ al $A$ es con rango de deficiencia?

Question

En muchas de las aplicaciones que no está con los requisitos de alta, es común el uso de $(A^{\text T}A+\lambda I)^{-1}A^{\text T}$ o $A^{\text T}(AA^{\text T}+\lambda I)^{-1}$ ($\lambda$ es pequeño) para aproximarse a la de Moore-Penrose pseudoinverse $A^{\dagger}$. Pero a partir de las propiedades de Moore-Penrose pseudoinverse, ¿cómo podemos saber que $(A^{\text T}A+\lambda I)^{-1}A^{\text T}$ $A^{\text T}(AA^{\text T}+\lambda I)^{-1}$ va a estar cerca de la solución exacta?

Parece que $$ \lim_{\lambda \rightarrow 0}(A^{\text T}+\lambda I)^{-1}^{\text T} = A^{\daga} $$ Quiero saber por qué sucede esto (Se puede tratar en Matlab para la verificación). Además, también es posible para $A^{\text T}A + \lambda I$ a ser singular. Toda la cosa es que me confunde.

Y la pregunta siguiente es, si queremos restringir el error de $(A^{\text T}A+\lambda I)^{-1}A^{\text T}$, aproximándose a las $A^{\dagger}$ a un cierto punto, podemos saber el límite superior de la $\lambda$ según algunos criterios?

Answer 1

Lo que pasa es que $$ A^{\daga}=\lim_{\lambda\searrow0}(A^TA+\lambda I)^{-1}A^T=\lim_{\lambda\searrow0}^T(AA^T+\lambda I)^{-1} $$

Prueba:

Escribir $A=WDV$ la descomposición de valor singular (es decir, $D$ es diagonal con los no-negativo diagonal, $W,V$ son unitaries). A continuación,$A^TA=V^TD^2V$, e $(A^TA+\lambda I)^{-1}=V^T(D^2+\lambda I)^{-1}V$. $$ (A^TA+\lambda I)^{-1}A^T-(A^TA+\mu I)^{-1}A^T=V^T(D^2+\lambda I)^{-1}VV^TDW^T-V^T(D^2+\mu I)^{-1}VV^TDW^T=V^T(D^2+\lambda I)^{-1}DW^T-V^T(D^2+\mu I)^{-1}DW^T=V^T[(D^2+\lambda I)^{-1}D-(D^2+\mu I)^{-1}D]W^T=V^T(D^2+\lambda I)^{-1}D[(\mu-\lambda)I](D^2+\mu I)^{-1}DW^T. $$ Como $(D^2+\lambda I)^{-1}D=f(D)$ donde$f_\lambda(t)=t/(t^2+\lambda)$$f(0)=0$, la norma de $(D^2+\lambda I)^{-1}D$ es limitada (por la inversa de la más pequeño distinto de cero de valor singular de a $A$) independientemente de $\lambda$. Por lo que la estimación por encima de los rendimientos que $$ \|(A^TA+\lambda I)^{-1}A^T-(A^TA+\mu I)^{-1}A^T\|\leq c|\lambda\mu| $$ para una constante adecuada $c$. Esto demuestra que $$ B=\lim_{\lambda\searrow0}(A^TA+\lambda I)^{-1}A^T $$ existe. Ahora $$ ABA=\lim_{\lambda\searrow0}A(A^TA+\lambda I)^{-1}A^TA=\lim_{\lambda\searrow0} (I-\lambda(A^TA+\lambda I)^{-1})=A-\lim_{\lambda\searrow0}\lambda(a^TA+\lambda I)^{-1}=-W\lim_{\lambda\searrow0}Un\lambda D(D^2+\lambda I)^{-1}V=-W\lim_{\lambda\searrow0}\lambda f_\lambda(t)V. $$ Como $f_\lambda(0)=0$ $\lambda f_\lambda(t)\to0$ al $t\ne0$, la expresión en el límite tiende a cero, por lo $ABA=A$.

De manera similar, muestra que $BAB=B$.

Finalmente, $AB$ es simétrica como $$ AB=\lim_{\lambda\searrow0}A(A^TA+\lambda I)^{-1}A^T=\lim_{\lambda\searrow0}WD(D^2+\lambda I)^{-1}DW^T=\lim_{\lambda\searrow0}WD^2(D^2+\lambda I)^{-1}W^T. $$ Las matrices $D^2(D^2+\lambda I)^{-1}$ son simétricas, y también lo son sus conjugados por $W$, y así es el límite. Del mismo modo, $BA$ es simétrica.

Como la de Moore-Penrose pseudoinverse es único, $B=A^\dagger$.