¿Qué tan cerca está la media de la muestra $\mu_N$ para $N$ variables aleatorias a la media de la muestra $\mu_{N-1}$ para $N-1$ ¿variables aleatorias?

Question

Definir $\mu_{N}$ para ser la media de la muestra para $N$ variables aleatorias i.i.d. que tienen cada una una media $\mu$ y la varianza $\sigma^2$ : $$ \mu_{N} := \frac{1}{N} \sum_{i=1}^N X_i. $$

Consideremos ahora la media muestral si eliminamos una de estas variables aleatorias. Es decir, consideremos, $\mu_{N-1}$ en la que, sin embargo, eliminamos la última variable aleatoria de la suma: $$ \mu_{N-1} := \frac{1}{N-1} \sum_{i=1}^{N-1} X_i. $$

Me interesa describir lo cerca que está $\mu_{N-1}$ es $\mu_{N}$ en un sentido apropiado es este "sentido" del que no estoy seguro ya que no llevo mucho tiempo trabajando con la probabilidad.

Restando $\mu_{N-1}$ de $\mu_{N}$ tenemos \begin{align} \mu_{N} - \mu_{N-1} &= \frac{1}{N} \sum_{i=1}^N X_i - \frac{1}{N-1} \sum_{i=1}^{N-1} X_i \\ & = \frac{1}{N}X_N + \frac{N-1}{N}\frac{1}{N-1} \sum_{i=1}^{N-1} X_i - \frac{1}{N-1} \sum_{i=1}^{N-1} X_i \\ & = \frac{1}{N}X_N + \bigg(\frac{N-1}{N}-1\bigg)\frac{1}{N-1} \sum_{i=1}^{N-1} X_i. \end{align}

Así que como $N\to \infty$ En este caso, parece que ambos términos se reducen a cero. Pero como el $X_i$ son variables aleatorias, me imagino que debemos establecer algunas condiciones sobre ellas para que esto se cumpla. Por ejemplo, podríamos tener mala suerte y sacar $X_N$ que sean lo suficientemente grandes como para que $\frac{1}{N} X_N$ no llega a cero como $N \to \infty$ .

Siento que la variación $\sigma^2$ podría tener un efecto en la convergencia, pero no estoy seguro.

Así que mis preguntas son

• En el caso de la muestra finita, ¿podemos decir algo más informativo que lo que ya he deducido anteriormente respecto a lo cerca que está $\mu_N$ es $\mu_{N-1}$ ?
• ¿Qué condiciones se necesitan en el $X_i$ para garantizar $\mu_{N} - \mu_{N-1}$ converge a cero cuando $N \to \infty$ ?
• ¿Cuál es el sentido adecuado de la convergencia para $\mu_{N} - \mu_{N-1}$ ? Estoy pensando que tal vez podamos decir que converge con "alta probabilidad". Y lo que es más importante, ¿es posible encontrar una tasa de convergencia exacta?

Answer 1

Es necesario leer sobre los diferentes conceptos de convergencia de variables aleatorias .

En este caso, llamar a $Z_n = \frac{1}{N} \sum_{i=1}^N X_i - \frac{1}{N-1} \sum_{i=1}^{N-1} X_i$ , quiere saber si y (en qué sentido ) $Z_n$ converge a cero. Obsérvese que $Z_n$ es una variable aleatoria.

Dado que $X_i$ son iid con media y varianza finitas, se puede deducir que $E[Z_n]=0$ y $\sigma_{Z_n}^2 = \frac{1}{n(n+1)}\sigma_{X}^2$ .

Esto dice que $\sigma_{Z_n}^2 \to 0$ (y bastante rápido).

Entonces puede aplicar Calidad_de_Chebyshev para cualquier $\epsilon >0$

$$P(|Z_n| > \epsilon) \le \frac{1}{\epsilon}\sigma_{Z_n}^2=\frac{1}{\epsilon \, n(n+1)}\sigma_{X}^2 < \frac{\sigma_{X}^2}{\epsilon \, n^2} $$

Entonces $P(|Z_n| > \epsilon) \to 0$ como $n\to \infty$

Lo anterior equivale a demostrar convergencia en probabilidad de convergencia en $L^2$ -norma . Se trata de medidas de convergencia bastante fuertes para variables aleatorias, aunque no tan fuertes como convergencia casi segura .

Answer 2

$Z_n\to 0, n\to\infty,$ casi con toda seguridad si $\mathrm{E}[|X_1|]<\infty$ .

Prueba. Suficiencia: por el SLLN de Kolmogorov, $\mu_n \to 0$ y $\mu_{n-1} \to 0$ , $n\to\infty$ casi con toda seguridad.

La necesidad se demuestra de forma similar a la prueba de SLLN: ya que $\mu_{n-1}$ y $X_n$ son independientes, está claro que los dos términos de la expresión que escribiste para $\mu_n - \mu_{n-1}$ debe converger a $0$ en particular, $X_n/n \to 0, n\to\infty$ Entonces, con probabilidad $1$ , $|X_n|/n > 1$ sólo un número finito de veces. Por el lema inverso de Borel-Cantelli, debemos tener entonces $$ \sum_{n=1}^\infty \mathrm P(|X_n|>n) = \sum_{n=1}^\infty \mathrm P(|X_1|>n)<\infty, $$ lo que equivale a la integrabilidad de $X_1$ .

Utilizando la ley fuerte de los grandes números para las variables aleatorias no integrables (puedo explicarlo con más detalle si lo desea), también es posible demostrar que $Z_n \to 0$ en probabilidad siempre que $\mathrm{E} [|X_1|^{1/2}]<\infty$ aunque tengo la duda de que ésta sea también una condición necesaria (es necesario que el segundo término de su expresión desaparezca casi seguramente También es posible formular una condición necesaria y suficiente en términos de comportamiento de la función característica en cero).