¿Es la regularización de Tikhonov lo mismo que la regresión Ridge?

Question

La regularización de Tikhonov y la regresión de cresta son términos que a menudo se utilizan como si fueran idénticos. ¿Es posible especificar exactamente cuál es la diferencia?

Answer 1

La regularización de Tikhonov es un conjunto mayor que la regresión de cresta. Aquí está mi intento de explicar exactamente cómo se diferencian.

Supongamos que para una matriz conocida $A$ y el vector $b$ deseamos encontrar un vector $\mathbf{x}$ tal que :

$A\mathbf{x}=\mathbf{b}$ .

El enfoque estándar es la regresión lineal por mínimos cuadrados ordinarios. Sin embargo, si no hay $x$ satisface la ecuación o más de una $x$ no lo hace, es decir, la solución no es única, se dice que el problema está mal planteado. Los mínimos cuadrados ordinarios tratan de minimizar la suma de los residuos al cuadrado, que puede escribirse de forma compacta como

$\|A\mathbf{x}-\mathbf{b}\|^2 $

donde $\left \| \cdot \right \|$ es la norma euclidiana. En notación matricial la solución, denotada por $\hat{x}$ está dada por:

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

Regularización de Tikhonov minimiza

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

para alguna matriz de Tikhonov convenientemente elegida, $\Gamma $ . Una solución explícita en forma de matriz, denotada por $\hat{x}$ está dada por:

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

El efecto de la regularización puede variarse mediante la escala de la matriz $\Gamma$ . Para $\Gamma = 0$ esto se reduce a la solución de mínimos cuadrados no regularizados siempre que (A T A) 1 existe.

Normalmente para regresión de cresta se describen dos salidas de la regularización de Tikhonov. En primer lugar, la matriz de Tikhonov se sustituye por un múltiplo de la matriz de identidad

$\Gamma= \alpha I $ ,

dando preferencia a las soluciones con norma más pequeña, es decir, la $L_2$ norma. Entonces $\Gamma^{T} \Gamma$ se convierte en $\alpha^2 I$ lo que lleva a

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

Por último, para la regresión de cresta, se suele suponer que $A$ las variables se escalan de manera que $X^{T}X$ tiene la forma de una matriz de correlación. y $X^{T}b$ es el vector de correlación entre el $x$ variables y $b$ , lo que lleva a

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

Obsérvese en esta forma el multiplicador de Lagrange $\alpha^2$ se suele sustituir por $k$ , $\lambda$ o algún otro símbolo, pero conserva la propiedad $\lambda\geq0$

Al formular esta respuesta, reconozco haber tomado prestado libremente de Wikipedia y de Estimación Ridge de los pesos de la función de transferencia

Answer 2

Carl ha dado una respuesta exhaustiva que explica muy bien las diferencias matemáticas entre la regularización de Tikhonov y la regresión de cresta. Inspirado en la discusión histórica aquí En este sentido, he pensado que podría ser útil añadir un breve ejemplo que demuestre cómo puede ser útil el marco más general de Tikhonov.

En primer lugar, una breve nota sobre el contexto. Regresión Ridge surgió en las estadísticas, y mientras regularización Ahora está muy extendido en la estadística y el aprendizaje automático, el enfoque de Tikhonov fue motivado originalmente por problemas inversos que surgen en los modelos de asimilación de datos (especialmente en geofísica ). El ejemplo simplificado que aparece a continuación pertenece a esta categoría (las versiones más complejas se utilizan para reconstrucciones paleoclimáticas ).

---

Imaginemos que queremos reconstruir las temperaturas $u[x,t=0]$ en el pasado, basándose en las mediciones actuales $u[x,t=T]$ . En nuestro modelo simplificado supondremos que la temperatura evoluciona según la ecuación del calor $$ u_t = u_{xx} $$ en 1D con condiciones de contorno periódicas $$ u[x+L,t] = u[x,t] $$ Un simple (explícito) diferencia finita El planteamiento conduce al modelo discreto $$ \frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t $$ Matemáticamente, la matriz de evolución $\mathbf{A}$ es invertible, por lo que tenemos $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1} $$ Sin embargo, numéricamente las dificultades surgirán si el intervalo de tiempo $T$ es demasiado largo.

La regularización de Tikhonov puede resolver este problema mediante la resolución de \begin {align} \mathbf {Au}_t & \approx \mathbf {u}_{t+1} \\ \omega\mathbf {Lu}_t & \approx \mathbf {0} \end {align} que añade una pequeña penalización $\omega^2\ll{1}$ sobre la rugosidad $u_{xx}$ .

A continuación se muestra una comparación de los resultados:

Podemos ver que la temperatura original $u_0$ tiene un perfil suave, que se suaviza aún más por la difusión para dar $u_\mathsf{fwd}$ . La inversión directa no recupera $u_0$ y la solución $u_\mathsf{inv}$ muestra una fuerte "checkerboarding" artefactos. Sin embargo, la solución de Tikhonov $u_\mathsf{reg}$ es capaz de recuperar $u_0$ con bastante precisión.

Obsérvese que, en este ejemplo, la regresión de cresta siempre empujaría nuestra solución hacia una "edad de hielo" (es decir, temperaturas cero uniformes). La regresión de Tikhonov nos permite una mayor flexibilidad físicamente -La restricción a priori: Aquí nuestra penalización dice esencialmente que la reconstrucción $\mathbf{u}$ debe evolucionar lentamente, es decir $u_t\approx{0}$ .

---

El código de Matlab para el ejemplo es el siguiente (se puede ejecutar en línea aquí ).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');