¿Cuándo es $\mathbf{X}^{T}\mathbf{X}+\lambda\mathbf{I}$ invertible?

Question

La pregunta es bastante simple: para una matriz $\mathbf{X}$ de tamaño $N \times p$ con entradas reales, ¿cuándo es invertible $\mathbf{X}^{T}\mathbf{X}+\lambda\mathbf{I}$ (donde $\mathbf{I}$ es la matriz identidad de tamaño $p \times p$ y $\lambda > 0$)?

Esto surge en la regresión de ridge. En Elementos del Aprendizaje Estadístico (Hastie et al.),

[La ecuación] agrega una constante positiva a la diagonal de $\mathbf{X}^{T}\mathbf{X}$ antes de la inversión. Esto hace que el problema sea no singular, incluso si $\mathbf{X}^{T}\mathbf{X}$ no es de rango completo.

Sé que $\mathbf{X}^{T}\mathbf{X}$ es invertible si y solo si es de rango completo si y solo si $\mathbf{X}$ es de rango completo de columnas. La explicación es bastante intuitiva, ¿pero cómo lo pruebo?

Answer 1

$X^TX+\lambda I$ siempre es invertible, si $\lambda>0$.

Prueba. Nota que, si $u\in\mathbb R^p\setminus\{0\}$, entonces $$ \langle(X^TX+\lambda I)u,u\rangle =\lambda\langle u,u\rangle+\langle X^T Xu,u\rangle = \lambda\langle u,u\rangle+\langle Xu,Xu\rangle \ge \lambda\langle u,u\rangle>0. $$ Por lo tanto, $(X^TX+\lambda I)u\ne 0$, para todo $u\in\mathbb R^p\setminus\{0\}$, y por lo tanto es invertible.

Nota. Por $\langle\cdot,\cdot\rangle$ denotamos el producto interno en $\mathbb R^p$, y hemos utilizado el hecho de que $$ \langle Ax,y\rangle=\langle x,A^Ty\rangle,\quad\text{para todo $x,y\in\mathbb R^p$}. $$ Además, nota que $X^TX+\lambda I$ es invertible, para $\lambda>0$, ¡incluso cuando $X$ no es una matriz cuadrada!