La prueba de reducir el uso de los coeficientes de regresión ridge a través de la "descomposición espectral"

Question

Tengo entendido cómo cresta de regresión se reduce a cero los coeficientes de geométricamente. Por otra parte sé cómo demostrar que en el especial de "Ortonormales Caso," pero estoy confundido cómo funciona en el caso general, a través de la "descomposición Espectral."

Answer 1

La pregunta que aparece a pedir una demostración de que la Regresión Ridge reduce los coeficientes estimados a cero, utilizando una descomposición espectral. La descomposición espectral puede ser entendida como una fácil consecuencia de la Descomposición de Valor Singular (SVD). Por lo tanto, este post se inicia con la enfermedad vesicular porcina. Se explica en términos sencillos y, a continuación, se ilustra con las aplicaciones más importantes. A continuación, se proporciona la solicitada (algebraica) de demostración. (El álgebra, por supuesto, es idéntica a la demostración geométrica; simplemente está redactado en un idioma diferente.)

La fuente original de esta respuesta se puede encontrar en mi regresión notas del curso. Esta versión corrige algunos errores menores.

---

Lo que el SVD es

Cualquier $n\times p$ matriz$X$,$p \le n$, puede ser escrito $$X = UDV^\prime$$ donde

1. $U$ $n\times p$ matriz.

   • Las columnas de $U$ tienen la longitud $1$.
   • Las columnas de $U$ son mutuamente ortogonales.
   • Ellos se llaman los componentes principales de $X$.

2. $V$ $p \times p$ matriz.

   • Las columnas de $V$ tienen la longitud $1$.
   • Las columnas de $V$ son mutuamente ortogonales.
   • Esto hace que $V$ una rotación de $\mathbb{R}^p$.

3. $D$ es una diagonal $p \times p$ matriz.

   • Los elementos de la diagonal $d_{11}, d_{22}, \ldots, d_{pp}$ son no negativas. Estos son los valores singulares de a $X$.
   • Si queremos, podemos ordenarlos de mayor a menor.

Criterios (1) y (2) afirman que tanto $U$ $V$ son ortonormales matrices. Ellos pueden ser perfectamente resumida por las condiciones

$$U^\prime U = 1_p,\ V^\prime V = 1_p.$$

Como consecuencia ($V$ representa una rotación), $VV^\prime = 1_p$ también. Este será utilizado en la Cresta de Regresión derivación a continuación.

Lo que hace por nosotros

Se puede simplificar fórmulas. Aquí están algunos ejemplos.

Las Ecuaciones Normales

Considere la posibilidad de la regresión $y = X\beta + \varepsilon$. Recordar los mínimos cuadrados solución a través de la Normal de Ecuaciones, $$\hat\beta = (X^\prime X)^{-1} X^\prime y.$$ Uso la enfermedad vesicular porcina:

$$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$$

La única diferencia entre este y $X^\prime = VDU^\prime$ es que los recíprocos de los elementos de $D$ son usados!

Para referencia en el futuro, el aviso de que "girado" estimaciones de la $V^\prime \hat\beta$ son combinaciones lineales de "girar" respuestas $U^\prime y$. Los coeficientes son los inversos de los (positivo) en diagonal, con elementos de $D$, igual a $d_{ii}^{-1}$.

La covarianza de los coeficientes estimados de

Recordemos que la covarianza de las estimaciones es $$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$$ Using the SVD, this becomes $$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$$ In other words, the covariance acts like that of $k$ orthogonal variables, each with variances $d^2_{ii}$, that have been rotated in $\mathbb{R}^k$.

El Sombrero de la matriz

El sombrero de la matriz es $$H = X(X^\prime X)^{-1} X^\prime.$$ By means of the preceding result we may rewrite it as $$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$$ Simple!

Eigenanalysis (descomposición espectral)

Desde $$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$$ and $$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$$ es inmediato que

• Los autovalores de a $X^\prime X$ $XX^\prime$ son los cuadrados de los valores singulares.
• Las columnas de $V$ son los vectores propios de a $X^\prime X$.
• Las columnas de $U$ son algunos de los vectores propios de a $X X^\prime$. (Otros vectores propios que existen pero que corresponden a los autovalores cero.)

Enfermedad vesicular porcina puede diagnosticar y resolver problemas de colinealidad.

La aproximación de los regresores

Cuando reemplace el más pequeño de los valores singulares con ceros, cambiará el producto $UDV^\prime$ sólo ligeramente. Ahora, sin embargo, los ceros eliminar las columnas correspondientes de $U$, reduciendo el número de variables. Siempre que se eliminan las columnas tienen poca correlación con el $y$, esto puede funcionar eficazmente como una variable de reducción de la técnica.

La Regresión Ridge

Deje que las columnas de a $X$ ser estandarizada, así como de $y$ sí. Para $\lambda \gt 0$ el estimador ridge es de $$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$$

La diferencia entre este y $\hat\beta$ es el reemplazo de las $D^{-1} = D^{-2}D$$(D^2+\lambda)^{-1}D$. En efecto, esto multiplica el original por la fracción $D^2/(D^2+\lambda)$. Porque (al $\lambda \gt 0$) el denominador es obviamente mayor que el numerador, las estimaciones de los parámetros de "reducir a cero."

---

Este resultado tiene que ser entendida en el poco sutil sentido aludido anteriormente: el girado estimaciones de $V^\prime\hat\beta_R$ todavía son combinaciones lineales de los vectores $U^\prime y$, pero cada coeficiente--que solía ser $d_{ii}^{-1}$--se ha multiplicado por un factor de $d_{ii}^2/(d_{ii}^2 + \lambda)$. Como tal, el girado coeficientes debe reducir, pero es posible, cuando se $\lambda$ es lo suficientemente pequeño, para algunas de las $\hat\beta_R$ realmente a aumentar de tamaño.

Para evitar distracciones, el caso de uno de los más singulares valores fue excluido en esta discusión. En tales circunstancias, si convenimos en tomar "$d_{ii}^{-1}$" a ser cero, entonces todo lo que todavía funciona. Esto es lo que está pasando cuando generalizada inversas se utilizan para resolver las ecuaciones Normales.