¿$(\mathbf A+\epsilon \mathbf I)^{-1}$ Siempre existe? ¿Por qué?

Question

Qué $(\mathbf A+\epsilon \mathbf I)^{-1}$ siempre existen, dado que el $\mathbf A$ es un cuadrado y positiva (y, posiblemente, en singular) de la matriz y $\epsilon$ es un pequeño número positivo? Quiero usar esto para regularizar una muestra de la matriz de covarianza ($\mathbf A = \Sigma$) en la práctica, así que puedo calcular la inversa, que necesito para calcular la distancia de Mahalanobis entre dos muestras. En la práctica, mi matriz de covarianza es a menudo singular. Sé que el plazo $(\mathbf A+\epsilon \mathbf I)^{-1}$ aparece a menudo en el contexto de mínimos cuadrados de los problemas que implican la regularización de Tikhonov (regresión ridge). Sin embargo, nunca he visto una declaración, de prueba o de referencia que dice que la expresión siempre es invertible.

Puede alguno de ustedes me ayude con una prueba o referencia?

Answer 1

Recordemos que $\det(A-t I)=p_A(t)$ es el polinomio característico de $A$, que es un grado de $N$ polinomio en $t$, donde $N$ es el número de filas de $A$. Por lo tanto, es una función continua en $t$ y tiene a más $N$ raíces, así que hay un % de raíz negativa más grande $t_0$, o posiblemente no hay raíces negativas en todo (en ese caso, elija $t_0=-1$ sólo por completitud). Para todos los $0 < \epsilon < - t_0$, $p_A(-\epsilon)$ es distinto de cero, lo que significa que el $\det(A+ \epsilon I) \ne 0$, $A+\epsilon I$ es invertible.

EDIT: Corregido señales de acuerdo con la pregunta

Answer 2

Sí, si $\mathbf A$ es cualquier matriz de #% de #% %, entonces $n \times n$ es invertible para suficientemente pequeño $\mathbf A+\epsilon \mathbf I$. Esto es debido a que $\epsilon > 0$ es un polinomio de grado $\det (\mathbf A + \epsilon \mathbf I)$ $\epsilon$, y por lo que tiene un número finito de ceros.

Answer 3

Si $A$ es semidefinite simétrico positivo y $\epsilon > 0$ $A + \epsilon I$ es simétrica positiva definida (y por lo tanto invertible).

Para ver esto, observe eso si $x \neq 0$ entonces \begin{align} x^T(A + \epsilon I) x &= x^T A x + \epsilon x^T x \\ &= x^T A x + \epsilon \|x\|^2 \\ & > 0. \end {Alinee el}

Answer 4

Porque la función determinante es continua, y porque $A$ es invertible si y sólo si $\det A \neq 0$, tenemos es que $\det(A)\neq 0 \Rightarrow \det(A+\epsilon B)\neq 0$ % suficientemente pequeño $\epsilon$, independientemente de qué $B$.

Si $A$ es singular, entonces observamos que el polinomio característico de $A$, dado en $\operatorname{ch}_A(t)=\det(A-tI)$ es un polinomio en $t$ y por lo tanto tiene finito muchas raíces. Entonces, cada vez que $\epsilon$ tiene valor absoluto menor que el tamaño del más pequeño distinto de cero raíz $\det(A+\epsilon I)\neq 0$.

Answer 5

Para ponerlo simple:

el conjunto de matrices inversible es abierto en el espacio normado de todas las matrices.

Por lo tanto si $A$ es invertible entonces $A+\epsilon I$ también será inversible pequeño $\epsilon$.