Tasa de convergencia en el teorema del límite central (Lindeberg-Lévy)

Question

Hay publicaciones similares a esta en stackexchange, pero ninguna de ellas parece responder realmente mis preguntas. Así que considera el CLT en su forma más común.

Sea $(X_n)_{n \in \mathbb{N}}$ una secuencia de variables aleatorias i.i.d. con $X_1 \in L^2(P)$, $\mathbb{E}[X_i]= \mu$ y $\mathbb{Var}[X_i] = \sigma^2>0$. Denotemos con $\widehat{X}:= \frac{(X_1+\dots+X_n)}{n}$. Entonces se cumple que $$\sqrt{n} (\widehat{X} - \mu) \overset{\mathscr{D}}{\longrightarrow} \mathscr{N} (0,{\sigma}^2)$$ o, equivalentemente, $$\sqrt{n} \left( \frac{\widehat{X} - \mu}{\sigma} \right) \overset{\mathscr{D}}{\longrightarrow} \mathscr{N} (0,1).$$

A menudo veo afirmaciones como que la tasa de convergencia es del orden $\frac{1}{\sqrt{n}}$. Tratando de interpretarlo, esto es lo que he entendido (de manera informal) hasta ahora:

Según la ley fuerte de los grandes números, dadas las condiciones anteriores, $$\widehat{X} - \mu\overset{c.s.}{\longrightarrow} 0.$$ Sin embargo, $\widehat{X} - \mu$ deja de converger a cero cuando se multiplica por $\sqrt{n}$. Así que se dice que la tasa de convergencia es del orden $\frac{1}{\sqrt{n}}$.

Así que aquí están mis preguntas:

1. ¿Cómo se define el orden de convergencia en este caso utilizando notación formal? ¿Por qué se dice del orden $\frac{1}{\sqrt{n}}$ y no del orden $\sqrt{n}$?
2. ¿Cómo sabemos que si se multiplica, por ejemplo, por un factor de orden inferior o superior, como $\sqrt[3]{n}$ o $n$, no se obtendría una variable aleatoria convergente en distribución hacia alguna variable aleatoria no nula c.s. (en contraposición al argumento: "Sin embargo, $\widehat{X} - \mu$ deja de converger a cero cuando se multiplica por $\sqrt{n}$.")?
3. Y, lo más importante, ¿puede alguien mostrar rigurosamente que la tasa de convergencia es exactamente del orden $\frac{1}{\sqrt{n}}$?

Answer 1

1. Creo que básicamente lo has definido. Puedes decir que una secuencia $Y_n$ de variables aleatorias converge de orden $a_n$ si $Y_n/a_n$ converge en distribución a una variable aleatoria que no sea identicamente cero. La razón de tener división en lugar de multiplicación es para que $Y_n = a_n$ en sí mismo converja de orden $a_n. Debes pensar en esto como que "$Y_n$ crece o decae aproximadamente a la misma velocidad que $a_n$".

2. Este es el teorema de Slutsky: si $Z_n \to Z$ en distribución y $c_n \to c$, entonces $c_n Z_n \to cZ$ en distribución. Entonces supongamos que $Y_n$ converge de orden $a_n$, de modo que $\frac{Y_n}{a_n}$ converge en distribución a algún $W$ no trivial. Si $b_n / a_n \to \infty$, entonces $\frac{Y_n}{b_n} = \frac{Y_n}{a_n} \frac{a_n}{b_n} \to W \cdot 0$, tomando $Z_n = \frac{Y_n}{a_n}$, $Z=W$, $c_n = \frac{a_n}{b_n}$ y $c=0$ en Slutsky. Entonces $Y_n$ no converge de orden $b_n$.

   Por otro lado, si $\frac{b_n}{a_n} \to 0$, supongamos por el contrario que $\frac{Y_n}{b_n}$ converge en distribución a algún $Z$. Entonces $\frac{Y_n}{a_n} = \frac{Y_n}{b_n} \frac{b_n}{a_n} \to 0 \cdot Z$ por Slutsky. Pero se suponía que $\frac{Y_n}{a_n}$ convergía en distribución a $W$ que no es cero. Esto es una contradicción, por lo que $Y_n$ no converge de orden $b_n$.

   Pero en general no hay una secuencia única aquí. Si $Y_n$ converge de orden $\frac{1}{n}$, también sería cierto decir que $Y_n$ converge de orden $\frac{1}{n+43}$, o $\frac{1}{n+\log n}$, o $\frac{1}{2n}$, etc.

3. No estoy seguro de lo que quieres decir aquí, ya que esto es simplemente una reformulación de la TCL, cuya demostración parece que conoces.

Answer 2

Esto es simplemente una observación que era demasiado larga para caber como un comentario. La observación trata de lo que la gente quiere decir cuando dicen casualmente "$\sqrt{n}$ (o $1/\sqrt{n}$) convergencia".

Toma $\mu = 0, \sigma = 1$ para simplicidad. Si $$\frac{1}{\sqrt{n}}\sum_i X_i $$ es "aproximadamente distribuido normalmente", como está garantizado para un $n$ lo suficientemente grande por el TCL, entonces podemos aproximar desviaciones de la media empírica $\frac{1}{n}\sum_i X_i\approx 0$ usando la aproximación del TCL $$\mathbb{P}\left(-\frac{\epsilon}{\sqrt{n}} < \frac{1}{n}\sum_i X_i < \frac{\epsilon}{\sqrt{n}}\right) \approx \mathbb{P}\left(-\epsilon < N(0,1) < \epsilon\right).\tag{1}$$ Entonces, heurísticamente, si deseas un punto decimal adicional de precisión (es decir, divide $\epsilon$ por 10) con una probabilidad fija, necesitas $10^2$ muestras más (esto mantiene el lado izquierdo de la aproximación anterior asintóticamente constante). Esto es a menudo lo que la gente quiere decir cuando dicen "TCL implica convergencia $\sqrt{n}$".

El truco arriba es: ¿qué tan grande tiene que ser $n$? En otras palabras, ¿cuál es el orden de convergencia de $$\left|\mathbb{P}\left(-\frac{\epsilon}{\sqrt{n}} < \frac{1}{n}\sum_i X_i < \frac{\epsilon}{\sqrt{n}}\right) - \mathbb{P}\left(-\epsilon < N(0,1) < \epsilon\right)\right|.$$ Más explícitamente, ¿cuál es la aproximación para cualquier conjunto, digamos $$\left|\mathbb{P}\left(\frac{1}{\sqrt{n}}\sum_i X_i < x\right) - \mathbb{P}\left(N(0,1) < x\right)\right|?$$ Resulta que una cota en lo anterior también es de orden $1/\sqrt{n}$, y es el contenido del Teorema de Barry-Esseen, como se señala en uno de los enlaces en los comentarios.