¿Cuál es la intuición de por qué la convergencia en la distribución no implica la convergencia en la probabilidad

Question

Para mí es muy contra intuitivo (que la convergencia en Probabilidad y Distribución no son lo mismo), porque, conceptualmente, si dos variables aleatorias tienen la misma distribución, entonces debe ser considerada la misma variable aleatoria. Sé que esto está mal. No estoy seguro de por qué, pero está mal (de ahí la pregunta). ¿Quizás, significa que son iguales (isomorfas) en cuanto a su pdf/cdf/pmf? De todos modos, quiero entender por qué estoy equivocado y arreglar mi intuición matemática.

La razón por la que me quejo es porque soy completamente consciente de un contraejemplo. De hecho, lo proporcionaré en el apéndice de esta pregunta, sin embargo, incluso después de ver el contraejemplo, no estoy seguro de que se me hubiera ocurrido. De hecho, incluso después de ver un contraejemplo, me sigue pareciendo mal. Me preguntaba si alguien podría proporcionar una manera de cómo uno podría llegar a tal contraejemplo (o tal vez un contraejemplo que es mucho más obvio), o tal vez explicarme por qué debería ser obvio que uno puede llegar a tal contraejemplo.

---

Apéndice:

Recordemos las definiciones de convergencia en distribución y convergencia en probabilidad:

Convergencia en la distribución (D): $$ \lim_{n \rightarrow \infty} | F_{X_n}(x) - F(x)| = 0, \forall x \in X$$

Convergencia en probabilidad (P) para un tamaño suficientemente grande $N$ y $\forall \epsilon > 0$ :

$$ \lim_{n \rightarrow \infty} Pr[ | X_n - X | \geq \epsilon]= 0$$

es decir, si se aleja lo suficiente la secuencia de variables aleatorias, entonces $X_n$ convergerá a $X$ (en probabilidad).

Voy a mostrar el ejemplo de contador para:

$$D \not\implies P$$

Considere una variable aleatoria Bernoulli $X$ con probabilidad de éxito $\frac{1}{2}$ . Ahora defina $X_n$ sea igual a $X$ es decir

$$X_n = X$$

Por lo tanto, obviamente al ser el mismo v.r. tienen la misma distribución. Ahora define:

$$Y = 1 - X$$

Obviamente, $Y$ tiene la misma distribución que $X$ y por lo tanto, también como $X_n$ . Así que $X_N$ converge en su distribución a $Y$ .

Pero, ¿convergen en probabilidad?

Si lo hacen entonces:

$$ \lim_{n \rightarrow \infty} Pr[ | X_n - Y | \geq \epsilon]= 0$$

es decir, queremos que su diferencia sea mayor que $\epsilon$ muy raramente (de hecho, queremos que ese suceso tenga una probabilidad cero a medida que n va al infinito).

Vamos a calcular la distancia entre estas dos variables aleatorias $X_n$ y $Y$ :

$$| X_n - Y | = |X_N - (1 - X)| = |X - 1 + X| = |2X - 1| = 1$$

Por lo tanto, su distancia es siempre 1, pase lo que pase. Queremos que su distancia sea muy grande para cualquier $\epsilon$ , pero observe que para la elección de $\epsilon = \frac{1}{2}$ que la distancia entre $| X_n - Y | = 1$ es efectivamente mayor que el umbral tolerable (es decir $1 = | X_n - Y | > \epsilon = \frac{1}{2} $ con probabilidad 1). Por lo tanto, es seguro que su distancia es mayor que $\epsilon$ . No importa el valor de $n$ que elijamos (es decir, no importa lo lejos que vayamos en la secuencia), seguro que están demasiado lejos. Más concretamente:

$$ \lim_{n \rightarrow \infty}Pr[ | X_n - Y | \geq \epsilon ] = Pr[ 1 \geq \frac{1}{2} ] = 1 $$

que es lo contrario de lo que necesitamos para la convergencia en probabilidad. Fin del contraejemplo.

Answer 1

En primer lugar, en la convergencia en la distribución, las variables aleatorias pueden estar definidas en espacios diferentes, mientras que la convergencia en probabilidad requiere que todas estén definidas en el mismo espacio (a menos que la "variable aleatoria" limitante sea degenerada).

En segundo lugar, incluso exigiendo artificialmente que todas las variables aleatorias están definidas en el mismo espacio, es fácil encontrar ejemplos de secuencias de variables aleatorias que convergen en distribución, pero no en probabilidad. Este es el ejemplo más trivial (quizás) el ejemplo más trivial.

Que el espacio muestral tenga sólo dos puntos $a$ y $b$ , cada una de ellas con una probabilidad $1/2.$ Que todos $X_n$ sea lo mismo con $X_n(a) = 0$ y $X_n(b) = 1$ ; dejar que $Y$ sea definido como $Y(a) = 1$ y $Y(b) = 0$ . (Obsérvese el cambio crucial.) Entonces $F_{X_n}(x)$ tiene saltos de $1/2$ en $x = 0$ y $x = 1.$ Además, la FCD de $Y$ es exactamente la misma función. Así que $F_{X_n}(x) \equiv F_Y(x)$ y $|F_{X_n}(x) - F_Y(x)| \equiv 0$ haciendo que la convergencia en distribución trivial.

Por el contrario, $|X_n(a) - Y(a)| = 1$ y $|X_n(b) - Y(b)| = 1,$ así que $P(|X_n - Y| = 1) = 1,$ y la convergencia en probabilidad es imposible.

Finalmente, para la convergencia a una constante, los dos conceptos pueden interpretarse como equivalentes.

Answer 2

Su ejemplo consiste en la distribución $(X,Y) \in_R \{(1,0),(0,1)\}$ . Considerado individualmente, $X$ y $Y$ son la "misma" variable aleatoria. Sin embargo, no son independientes, por lo que $X$ y $Y$ no son lo mismo que dos copias independientes de $X$ .

Hay otros contraejemplos sencillos, como el siguiente. Sea $X$ y $X_1,X_2,\ldots$ sean gaussianos estándar independientes. Todas tienen la misma ley, por lo que la secuencia $X_i$ convergencia a $X$ en la distribución. Pero claramente no converge a $X$ en la probabilidad. Aquí todo es independiente, por lo que el problema es diferente: de hecho, el problema es que la secuencia $X_i$ es independiente de $X$ .

Tal vez sea mejor considerar un ejemplo en el que $X_i$ sí converge a $X$ en la probabilidad. Sea $X$ sea cualquier variable aleatoria (razonable), y que $Z_i$ sean gaussianos estándar independientes, y que $Y_i = X + Z_i$ y que $X_i = (Y_1 + \cdots + Y_i)/i$ . En condiciones suaves, la secuencia $X_i$ converge a $X$ . La imagen aquí es que el $X_i$ son versiones ruidosas de $X$ pero el ruido tiende a cero. Esto no ocurre en los dos contraejemplos (el tuyo y el mío).

Answer 3

Lim P( Xn(w)-X(w) <= E ) = 1 para todos los w de la población. Podemos inducir la misma distribución utilizando dos variables aleatorias diferentes. Tu ejemplo lo demuestra bien. Si estas variables aleatorias son diferentes entonces, p(x=1)=p(y=1) mientras que x^-1(1) es un conjunto diferente de la población de y^-1(1). Esto significa que la convergencia en la distribución debilita la hipótesis necesaria para que una sucesión de variables aleatorias converja en probabilidad. Al imaginar esto, basta con asociar un conjunto de w a cada punto del dominio de la distribución de la variable aleatoria.