-
Sea $g:\mathbb R \to \mathbb R $ una función continua que sea
- "suficientemente suave" (por ejemplo, $\mathcal C^3$) alrededor de $0$, y
- "suficientemente integrable" (por ejemplo, integrable respecto a $N(0,1)$).
-
Sean $d'$ y $d$ enteros positivos que tienden a infinito de manera que $d'/d \to \rho \in (0,\infty)$.
-
Sea $X$ una matriz aleatoria de tamaño $d' \times d$ con filas iid $x_1,\ldots,x_D$ de $N(0,(1/d)I_d)$, sea $\widetilde{X}$ la matriz aleatoria de tamaño $d'\times d$ con filas $\widetilde{x}_i := x_i/\|x_i\|$. Así, cada $\widetilde{x}_i$ está distribuido uniformemente en la esfera unitaria en $\mathbb R^{d}$.
-
Para $x \sim N(0,(1/d)I_d)$ independiente de $X$, define una matriz aleatoria de tamaño $d' \times d'$ semidefinida positiva $B$ y $\widetilde{B}$ por $$ \begin{split} b_{ij} &:= (x_i^\top x_j)\mathbb E_x[g(x^\top x_i)g(x^\top x_j)],\\ \widetilde{b}_{ij} &:= (\widetilde{x}_i^\top \widetilde{x}_j)\mathbb E_x[g(\widetilde{x}^\top \widetilde{x}_i)g(\widetilde{x}^\top \widetilde{x}_j)]. \end{split} $$
Pregunta. ¿Son verdaderas las siguientes afirmaciones ? $$ \begin{split} \|B-g(0)^2 XX^\top\|_{op} &\overset{p}{\to} 0,\\ \|\widetilde{B}-g(0)^2 \widetilde{X}\widetilde{X}^\top\|_{op} &\overset{p}{\to} 0. \end{split} $$
Evidencia empírica
Aquí hay resultados de algunos experimentos con $d'=200$ y $d=300$, y diferentes opciones para $g$, tanto suaves como rugosas. ¡Juzgando por estas observaciones, parece que la pregunta anterior es afirmativa!
Un intento descuidado
Veamos un argumento heurístico (¡e incorrecto!) por qué uno esperaría que $$ \|\widetilde{B}-g(0)^2\widetilde{X}\widetilde{X}^\top\|_{op} \overset{p}{\to} 0 $$ sea cierto.
Para simplificar la notación, sea $w_i:=\widetilde{x}_i$ en adelante. Sea la matriz $\widetilde{U}$ la matriz aleatoria semidefinida positiva de tamaño $n \times n$ definida por $\widetilde{u}_{ij} := \mathbb E_z[g(z^\top w_i)g(z^\top w_j)]$, donde $z=(z_1,\ldots,z_d)$ es uniforme en la esfera unitaria en $\mathbb R^d$, e independiente de los $w_i$'s.
Observa que $\widetilde{B}$ es el producto Hadamard de $\widetilde{U}$ con $\widetilde{X}\widetilde{X}^\top$.
Ahora, debido a la invarianza rotacional, podemos escribir $\widetilde{u}_{ij} = u_d(z_i^\top z_j)$, donde $u_d:[-1,1] \to \mathbb R$ se define por $$ u_d(t) := \mathbb E_z[g(z_1)g(tz_1+(1-t^2)^{1/2} z_2)]. $$ Por lo tanto, $\widetilde{B}$ es una matriz de núcleo de producto punto, a través de una función de envolvente $u_d$ que varía con la dimensión $d$. Esta dependencia en $d$ es mala noticia para nosotros.
Ignoremos la dependencia de $u_d$ en $d$. Por supuesto, esto es incorrecto (y será la única parte descuidada de nuestros argumentos), pero hagámoslo de todos modos.
Luego podemos invocar el Teorema 2.3 de El Karoui '10 para obtener que $\|\widetilde{U}-A\|_{op} \overset{p}{\to} 0$, donde $$ A := u_d(0) 1_{d'}1_{d'}^\top + u_d'(0)\widetilde{X}\widetilde{X}^\top + \gamma I_{d'}, $$ con $\gamma := u_d(1)-u_d(0)-u_d'(0)$.
Finalmente, utilizando la concentración exponencial en $d$ de $z_1^2 + z_2^2$, es fácil ver que
Hecho. Si $G:\mathbb R^2 \to \mathbb R$ es una función continua, entonces $\mathbb E_z[G(z_1,z_2)] \to G(0,0)$.
Deducimos que si nuestra función $g$ es $\mathcal C^1$ en $0$, entonces
$$ \begin{split> u_d(1) &= \mathbb E_z[g(z_1)^2] \to g(0)^2,\\ u_d(0) &=\mathbb E_z[g(z_1)g(z_2)] \to g(0)^2,\\ u_d'(0) &= \mathbb E_z[z_1 g(z_1)g'(z_2)] \to 0,\\ \gamma &= u_d(1)-u_d(0)-u_d'(0) \to 0, \end{split} $$
de lo cual se seguiría que $\|\widetilde{U}-g(0)^2 1_{d'}1_{d'}\|_{op} \overset{p}{\to} 0$, y por lo tanto $\|\widetilde{B}-g(0)^2 \widetilde{X}\widetilde{X}^\top\|_{op} \overset{p}{\to} 0$, como se afirma.
