Estabilidad de la regularización de Tikhonov

Question

Estoy aprendiendo sobre la regularización de Tikhonov

$$\underset{x\in X}{\arg\inf}\left\{||Ax-b||^2+\lambda ||x||^2\right\}$$

He leído que la solución mantiene el residuo $||Ax-b||^2$ pequeño y se estabiliza a través de la $\lambda ||x||^2$ término. ¿Puede alguien ayudarme a entender por qué es así? Puedo ver que el término evita el sobreajuste, pero no puedo ver cómo ayuda a la estabilización.

Gracias de antemano.

Answer 1

Suponiendo que $\|\cdot\|$ es el $L_2$ la solución para $x$ es \begin{align*} x = (A^T A + \lambda I)^{-1}A^T b \end{align*} La inestabilidad de esta solución está en la inversa. Si $A$ tienen columnas que son casi linealmente dependientes, entonces $A^TA$ es "casi no invertible". En otras palabras, el número de condición será muy grande. La página web $\lambda I$ ayuda a estabilizar esta inversa, y siempre bajará el número de condición.

Answer 2

Para entender la estabilización de Thikonov, es útil observar primero la solución ordinaria de mínimos cuadrados $x^*$ :

\begin{align*} x^* = (A^T A)^{-1}A^T b \end{align*}

Vemos que es necesario calcular la inversa de $A^T A$ y esto podría no ser posible, si $A$ tiene columnas casi linealmente dependientes. Pero veamos esto más de cerca, factorizando sólo el término sospechoso mediante una descomposición de valor singular.

Entonces $A^T A = U \Sigma V^T$ donde $U$ y $V$ son los vectores propios y $\Sigma$ es una matriz diagonal que contiene los valores propios no nulos. No es de especial interés aquí que $U=V$ pero es muy importante que el pseudoinverso $(A^T A)^{-1}$ se encuentra invirtiendo $\Sigma$ .

Más concretamente, el recíproco de cada valor propio, digamos $\sigma_i$ tiene que ser encontrado. Y esto puede resultar difícil, si dos columnas son casi linealmente dependientes. En este caso, $\sigma_i$ es muy pequeño y el resultado de la división obtiene pertubaciones muy grandes y pequeñas de $\sigma_i$ conducen a grandes fluctuaciones de la inversa. Es posible controlar estos casos y como este respuesta ya menciona el número de condición es uno de estos indicadores.

La solución que aporta Thikonov para superar el problema es sencilla, pero muy eficaz: basta con tomar una variable positiva $\lambda$ y añadirlo al denominador. De este modo se acota el resultado global y se estabiliza la solución:

\begin{equation} \Sigma_{ii}^+ = 1 / (\sigma_i + \lambda) \end{equation}

Como ahora hemos identificado la causa de las inestabilidades y hemos insertado un término que las previene, podemos añadir lo mismo a nuestra ecuación conocida y volver a rolearla: \begin{equation} U (\Sigma + \lambda I) V^T = U \Sigma V^T + \lambda U V^T = A^TA + \lambda I \end{equation}

Y finalmente, llegamos a lo conocido:

\begin{align*} x^* = (A^T A + \lambda I)^{-1}A^T b \end{align*}