Límite $\|(X'X)^{-1}X'\mathbf{1}\|_{\infty}$ en la probabilidad

Question

Deje $X \in \mathbb{R}^{n \times d}$ ser una matriz aleatoria de elementos independientes $N(0, 1)$ y deje $\mathbf{1}$ ser un n-vector. Suponga que $d \asymp n^\alpha$ algunos $\alpha > 0$. Me gustaría encontrar un límite en $$ \|(n^{-1}X X)^{-1}n^{-1}X'\mathbf{1}\|_{\infty} $$ que sostiene con una probabilidad de $1-o(1)$.

Las simulaciones sugieren que el obligado debe parecerse a ${\cal O}(\sqrt{\frac{d}{n}})$ (modulo logarítmica de los factores d y n), pero tengo problemas para demostrar que.

A continuación son algunos de los enfoques que lo he intentado, pero no estoy seguro de cómo proceder con ellos.

Pregunta 1: el Uso de Gauss estándar de la cola de los límites, tenemos que $\|n^{-1}X'\mathbf{1}\|_{\infty} \leq \sqrt{\frac{2\log(d\log(n))}{n}}$ con una probabilidad de $1-o(n)$. Es allí una manera a la condición en el caso de $\{\|n^{-1}X'X - I\|_{\rm op} \leq c_1\sqrt{\frac{d}{n}}\}$ y analizar $\|n^{-1}X'\mathbf{1}\|_{\infty}$? Es decir, ¿cómo la distribución de $\|n^{-1}X'\mathbf{1}\|_{\infty}$ cambiar una vez que la condición en $\{\|n^{-1}X'X - I\|_{\rm op} \leq c_1\sqrt{\frac{d}{n}}\}$?

Pregunta 2: Deje $X = USV'$ ser la descomposición SVD de a $X$. A continuación,$(n^{-1}X'X)^{-1}n^{-1}X'\mathbf{1} = VS^{-1}U'\mathbf{1}$. Puedo suponer sin pérdida de generalidad que $V = I$, es decir, la matriz de $V$ es la identidad, ya que la distribución de $X$ es la rotación invariable?

Pregunta 3: Esto está relacionado con la pregunta anterior. ¿Cómo funciona la distribución de $X'\mathbf{1}$ cambiar una vez que la condición en $S$.

Answer 1

Voy a suponer que $d \asymp n^\alpha$$\alpha < 1$, por lo que el $d < n$ asintóticamente. (Si $\alpha > 1$, $X'X$ no es invertible para $n \ge 2$, y usted tiene que ser más cuidadoso en las que se indica lo que quieres decir.) A continuación, los valores singulares de a $X$ están en $$ (\sqrt{n} - \sqrt{d} -t,\sqrt{n} + \sqrt{d} +t) $$ con prob. al menos $1 - 2\exp(-t^2/2)$. De ello se desprende que el mínimo valor singular de a $\frac1{\sqrt{n}} X$ está acotado abajo por $1-C \sqrt{d/n}$ w.h.p. Entonces, el mayor valor singular de a $(\frac1n X'X)^{-1}$, que es, a su operador de la norma, está limitada anteriormente por $1/(1 -C \sqrt{d/n})^2 = 1 +C' \sqrt{d/n}$ $n$ lo suficientemente grande.

Por otra parte, como se mencionó $\| \frac{1}{n} X'1\|_\infty \le C'' \sqrt{\frac{\log d}{n}}$ w.h.p. y $\| \cdot\|_2 \le \sqrt{d} \| \cdot\|_\infty $$\mathbb{R}^d$. Juntando las piezas, \begin{align*} \| (\frac1n X'X)^{-1} \frac{1}{n} X'1\|_\infty &\le \| (\frac1n X'X)^{-1} \frac{1}{n} X'1\|_2 \\ &\le \| (\frac1n X'X)^{-1} \|_{\text{op}} \;\| \frac{1}{n} X'1\|_2 \\ &\le (1 + C'\sqrt{\frac{d}{n}})\; \sqrt{d} \| \frac{1}{n} X'1\|_\infty\\ &\le(1 + C'\sqrt{\frac{d}{n}})\; \sqrt{d} \;C''\sqrt{\frac{\log d}{n}} \\ &\le C'''\sqrt{\frac{d \log d}{n}} \end{align*} para un gran $n$, w.h.p.

Por favor, comprueba, como yo, podría haber cometido un error.