¿Cuándo falla la ley de los grandes números?

Question

La cuestión es simplemente lo que se indica en el título: ¿Cuándo falla la ley de los grandes números? Lo que quiero decir es: ¿en qué casos la frecuencia de un suceso no tenderá a la probabilidad teórica?

Answer 1

Hay dos teoremas (de Kolmogorov) y ambos requieren que el valor esperado sea finito. El primero se cumple cuando las variables son IID, el segundo, cuando el muestreo es independiente y la varianza del $X_n$ satisface

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$$

Digamos que todos $X_n$ tienen valor esperado 0, pero su varianza es $n^2$ por lo que la condición obviamente falla. ¿Qué ocurre entonces? Se puede seguir calculando una media estimada, pero esa media no tenderá a 0 a medida que se vayan tomando muestras más y más profundas. Tenderá a desviarse más y más a medida que se siga muestreando.

Pongamos un ejemplo. Digamos que $X_n$ es uniforme $U(-n2^n , n2^n)$ para que la condición anterior falle de forma épica.

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$$

Al observar que

$$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$$

vemos por inducción que la media calculada $\bar{X}_n$ está siempre dentro del intervalo $(-2^n, 2^n)$ . Utilizando la misma fórmula para $n+1$ también vemos que siempre hay una posibilidad mayor que $1/8$ que $\bar{X}_{n+1}$ se encuentra fuera $(-2^n, 2^n)$ . De hecho, $\frac{X_{n+1}}{n+1}$ es uniforme $U(-2^{n+1},2^{n+1})$ y se encuentra fuera $(-2^n, 2^n)$ con probabilidad $1/4$ . Por otro lado, $\frac{n}{n+1}\bar{X}_n$ está en $(-2^n, 2^n)$ por inducción, y por simetría es positiva con probabilidad $1/2$ . De estas observaciones se deduce inmediatamente que $\bar{X}_{n+1}$ es mayor que $2^n$ o menor que $-2^n$ , cada uno con una probabilidad mayor que $1/16$ . Dado que la probabilidad de que $|\bar{X}_{n+1}| > 2^n$ es mayor que $1/8$ no puede haber convergencia a 0 ya que $n$ va al infinito.

Ahora, para responder específicamente a su pregunta, considere un evento $A$ . Si he entendido bien, usted pregunta "¿en qué condiciones es falsa la siguiente afirmación?"

$$ \lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$$

donde $1_A$ es la función indicadora del evento $A$ , es decir $1_A(X_k) = 1$ si $X_k \in A$ y $0$ de lo contrario y el $X_k$ se distribuyen idénticamente (y se distribuyen como $X$ ).

Vemos que la condición anterior se mantendrá, porque la varianza de una función indicadora está limitada por encima de 1/4, que es la varianza máxima de una variable Bernouilli 0-1. Sin embargo, lo que puede fallar es el segundo supuesto de la ley fuerte de los grandes números, a saber muestreo independiente . Si las variables aleatorias $X_k$ no se muestrean de forma independiente, entonces la convergencia no está garantizada.

Por ejemplo, si $X_k$ = $X_1$ para todos $k$ entonces el ratio será 1 o 0, sea cual sea el valor de $n$ por lo que la convergencia no se produce (a menos que $A$ tiene probabilidad 0 o 1 por supuesto). Este es un ejemplo falso y extremo. No conozco casos prácticos en los que no se produzca la convergencia a la probabilidad teórica. Aun así, la posibilidad existe si el muestreo no es independiente.