Convergencia en probabilidad vs. convergencia casi segura

Question

Nunca he entendido la diferencia entre estas dos medidas de convergencia. (O, de hecho, cualquiera de los diferentes tipos de convergencia, pero menciono estos dos en particular debido a las Leyes Débil y Fuerte de los Grandes Números).

Claro, puedo citar la definición de cada uno y dar un ejemplo en el que se diferencian, pero sigo sin entenderlo.

¿Cuál es una buena manera de entender la diferencia? ¿Por qué es importante la diferencia? ¿Hay algún ejemplo especialmente memorable en el que se diferencien?

Answer 1

Desde mi punto de vista, la diferencia es importante, pero sobre todo por razones filosóficas. Supongamos que tenemos un dispositivo que mejora con el tiempo. Así, cada vez que usas el dispositivo la probabilidad de que falle es menor que antes.

La convergencia de la probabilidad dice que la posibilidad de que se produzca un fallo se reduce a cero a medida que el número de usos se eleva al infinito. Así que, después de usar el dispositivo un gran número de veces, puedes estar muy seguro de que funciona correctamente, pero aún así podría fallar, sólo que es muy poco probable.

La convergencia es casi seguramente un poco más fuerte. Dice que el número total de fallos es finito . Es decir, si se cuenta el número de fallos a medida que el número de usos llega al infinito, se obtendrá un número finito. El impacto de esto es el siguiente: A medida que se utiliza el dispositivo más y más, después de un número finito de usos, se agotan todos los fallos. A partir de ese momento, el dispositivo funcionará perfectamente .

Como señala Srikant, en realidad no se sabe cuándo se han agotado todos los fallos, por lo que, desde un punto de vista puramente práctico, no hay mucha diferencia entre los dos modos de convergencia.

Sin embargo, personalmente me alegro mucho de que, por ejemplo, exista la ley fuerte de los grandes números, en lugar de sólo la ley débil. Porque ahora, un experimento científico para obtener, por ejemplo, la velocidad de la luz, tiene la justificación de tomar promedios. Al menos en teoría, después de obtener suficientes datos, puedes acercarte arbitrariamente a la verdadera velocidad de la luz. No habrá ningún fallo (por improbable que sea) en el proceso de promediación.

Permítanme aclarar lo que quiero decir con ''fallos (aunque sean improbables) en el proceso de promediación''. Elija algún $\delta > 0$ arbitrariamente pequeño. Se obtiene $n$ estimaciones $X_1,X_2,\dots,X_n$ de la velocidad de la luz (o alguna otra cantidad) que tiene algún valor "verdadero", digamos $\mu$ . Se calcula la media $$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$$ A medida que obtenemos más datos ( $n$ aumenta) podemos calcular $S_n$ para cada $n = 1,2,\dots$ . La ley débil dice (bajo algunas suposiciones sobre el $X_n$ ) que la probabilidad $$P(|S_n - \mu| > \delta) \rightarrow 0$$ como $n$ va a $\infty$ . La ley fuerte dice que el número de veces que $|S_n - \mu|$ es mayor que $\delta$ es finito (con probabilidad 1). Es decir, si definimos la función indicadora $I(|S_n - \mu| > \delta)$ que devuelve uno cuando $|S_n - \mu| > \delta$ y cero en caso contrario, entonces $$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$$ converge. Esto le da una confianza considerable en el valor de $S_n$ porque garantiza (es decir, con probabilidad 1) la existencia de algún $n_0$ tal que $|S_n - \mu| < \delta$ para todos $n > n_0$ (es decir, la media nunca falla para $n > n_0$ ). Obsérvese que la ley débil no ofrece tal garantía.

Answer 2

Sé que esta pregunta ya ha sido respondida (y bastante bien, en mi opinión), pero había otra pregunta diferente ici que tenía un comentario @NRH que mencionaba la explicación gráfica, y en lugar de poner las imágenes allí parece más apropiado ponerlos aquí.

Así que, aquí va. No es tan genial como un paquete de R. Pero es autónomo y no requiere una suscripción a JSTOR.

A continuación hablamos de un simple paseo aleatorio, $X_{i}= \pm 1$ con igual probabilidad, y estamos calculando promedios corridos, $$ \frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots. $$

El SLLN (convergencia casi segura) dice que podemos estar seguros al 100% de que este curva que se extiende hacia la derecha acabará, en algún momento finito, cayendo por completo dentro de las bandas para siempre (hacia la derecha).

A continuación se muestra el código R utilizado para generar este gráfico (se han omitido las etiquetas de los gráficos por razones de brevedad).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

---

La WLLN (convergencia en probabilidad) dice que una gran proporción de las trayectorias de la muestra estarán en las bandas del lado derecho, en el tiempo $n$ (para lo anterior parece que alrededor de 48 o 9 de 50). Nunca podemos estar seguros de que particular curva estará dentro en cualquier momento finito, pero viendo la masa de fideos de arriba sería una apuesta bastante segura. La WLLN también dice que podemos hacer que la proporción de fideos en el interior se acerque tanto a 1 como queramos haciendo que el gráfico sea lo suficientemente amplio.

A continuación se muestra el código R para el gráfico (de nuevo, omitiendo las etiquetas).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Answer 3

Lo entiendo de la siguiente manera,

Convergencia en probabilidad

La probabilidad de que la secuencia de variables aleatorias sea igual al valor objetivo es asintóticamente decreciente y se aproxima a 0, pero nunca llega a alcanzarlo.

Convergencia casi segura

La secuencia de variables aleatorias será igual al valor objetivo asintóticamente, pero no se puede predecir en qué momento ocurrirá.

La convergencia casi segura es una condición más fuerte sobre el comportamiento de una secuencia de variables aleatorias, ya que afirma que "algo sucederá definitivamente" (sólo que no sabemos cuándo). Por el contrario, la convergencia en probabilidad afirma que "aunque es probable que ocurra algo", la probabilidad de "algo no que ocurre" disminuye asintóticamente pero nunca llega a 0. (algo $\equiv$ una secuencia de variables aleatorias que convergen a un valor determinado).

El wiki tiene algunos ejemplos de ambos que deberían ayudar a aclarar lo anterior (en particular, véase el ejemplo del arquero en el contexto de la convergencia en prob y el ejemplo de la caridad en el contexto de la convergencia casi segura).

Desde un punto de vista práctico, la convergencia en la probabilidad es suficiente, ya que no nos preocupan especialmente los sucesos muy improbables. Por ejemplo, la consistencia de un estimador es esencialmente la convergencia en probabilidad. Así, al utilizar una estimación consistente, reconocemos implícitamente el hecho de que en muestras grandes hay una probabilidad muy pequeña de que nuestra estimación esté lejos del valor real. Convivimos con este "defecto" de convergencia en probabilidad, ya que sabemos que, asintóticamente, la probabilidad de que el estimador se aleje de la verdad es infinitamente pequeña.

Answer 4

Si le gustan las explicaciones visuales, había un bonito Artículo del 'Rincón del Profesor' sobre este tema en el American Statistician (citar abajo). Como extra, los autores incluyeron un Paquete R para facilitar el aprendizaje.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Answer 5

Este último lo explica muy bien. Si se toma una secuencia de variables aleatorias Xn= 1 con probabilidad 1/n y cero en caso contrario. Es fácil ver tomando límites que esto converge a cero en probabilidad, pero no converge casi con seguridad. Como dijo, a la probabilidad no le importa que podamos obtener un uno en el camino. La casi seguridad sí lo hace.

Casi seguro que implica la convergencia en probabilidad, pero no al revés, ¿no?