Expectativa de la traza de la inversa de una matriz aleatoria

Question

Dada una $N \times M$ matriz $X$ compuesto por entradas normales estándar ( $M > N$ ), me interesa aproximar $E[trace((XX^T\frac{\gamma}{M} + I)^{-1}]$ en términos de $N, M$ y $\gamma$ . Por desgracia, no puedo asumir necesariamente $\gamma$ es pequeño. No he tenido suerte con ninguna aproximación. Gracias.

Para el contexto, este problema se relaciona con los grados de libertad efectivos para la regresión de cresta.

Answer 1

Dejar $\lambda_{1},\lambda_2,\ldots\lambda_N$ sean los valores propios de $M^{-1}XX^{T}$ incluyendo por comodidad un factor $1/N$ la cantidad que se busca es

$$N^{-1}E[{\rm Tr}(XX^{T}\gamma/M)+I)^{-1}]=\int d\lambda \rho(\lambda)(\lambda\gamma+1)^{-1}$$

donde $\rho(\lambda)=E[N^{-1}\sum_n\delta(\lambda-\lambda_n)]$ es la densidad de valores propios de las matrices de Wishart; esta cantidad se conoce en forma cerrada para $N,M\rightarrow\infty$ en una proporción finita $N/M=r\in(0,1]$ ( Distribución de Marchenko-Pastur ). Encuentro de esta manera la respuesta

$$\lim_{N,M\rightarrow\infty}N^{-1}E[{\rm Tr}(XX^{T}\gamma/M)+I)^{-1}]=(2r\gamma)^{-1}\left(-1-\gamma\sqrt{ab}+\sqrt{(1+a\gamma)(1+b\gamma)}\right)$$

con $a=(1+\sqrt r)^2$ y $b=(1-\sqrt r)^2$ . Como comprobación, se puede tomar el límite $\gamma\rightarrow 0$ de esta expresión y obtener $1$ como debe ser.