Explicación intuitiva de convergencia en la distribución y la convergencia en probabilidad

Question

Estoy bastante seguro de lo intuitivo diferencia entre una variable aleatoria de la convergencia en probabilidad frente a una variable aleatoria de la convergencia en distribución.

He leído numerosas definiciones y ecuaciones matemáticas , pero que realmente no ayuda. Lo que no entiendo es cómo puede una variable aleatoria convergen a un solo número, pero también converge a una distribución?

Ayuda sería muy apreciada!

Por favor tenga en mente, yo soy estudiante de grado el estudio de la econometría. Muchas gracias!

Answer 1

No está claro cuánto de la intuición de un lector de esta cuestión podría tener sobre la convergencia de nada, y mucho menos de variables aleatorias, así que voy a escribir como si la respuesta es "muy poco". Algo que podría ayudar: en lugar de pensar "¿cómo puede una variable aleatoria convergen", pregunte cómo una secuencia de variables aleatorias pueden converger. En otras palabras, no es sólo una única variable, sino una (infinitamente larga!) lista de variables, y más adelante en la lista están acercando más y más a ... algo. Tal vez un solo número, tal vez una distribución completa. Desarrollar una intuición, tenemos que trabajar de lo que "más y más". La razón por la que hay tantos modos de convergencia de variables aleatorias es que hay varios tipos de "cercanía" yo podría medir.

Primero vamos a recapitular la convergencia de las secuencias de números reales. En $\mathbb{R}$, se puede utilizar la distancia Euclídea $|x-y|$ a medida de cuán cerca de $x$$y$. Considere la posibilidad de $x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$. A continuación, la secuencia $x_1, \, x_2, \, x_3, \dots$ comienza $2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$ y afirmo que $x_n$ converge a $1$. Claramente $x_n$ es llegar más cerca de a $1$, pero también es cierto que $x_n$ está acercando a $0.9$. Por ejemplo, desde el tercero en adelante, los términos en la secuencia hay una distancia de $0.5$ o menos de $0.9$. Lo que importa es que están recibiendo arbitrariamente cerca de $1$, pero no a $0.9$. No hay términos en la secuencia de venir alguna vez dentro de$0.05$$0.9$, mucho menos de permanecer cerca para su posterior términos. En contraste $x_{20}=1.05$$0.05$$1$, y todas las siguientes condiciones son dentro de$0.05$$1$, como se muestra a continuación.

Yo podría ser más estricta y a la demanda de los términos y permanecer dentro de$0.001$$1$, y en este ejemplo me parece que esto es cierto para los términos de $N=1000$ y en adelante. Además, yo podría elegir cualquier umbral fijo de cercanía $\epsilon$, no importa que tan estricto (a excepción de $\epsilon = 0$, es decir, el término en realidad se $1$), y, finalmente, la condición de $|x_n - x| \lt \epsilon$ serán satisfechos por todos los términos más allá de un cierto plazo (simbólicamente: para $n \gt N$, donde el valor de $N$ depende de lo estricta que un $\epsilon$ elegí). Para ejemplos más sofisticados, tenga en cuenta que no estoy interesado en la primera vez que la condición se cumpla - el siguiente término puede no obedecer la condición, y eso está bien, siempre puedo encontrar un término más a lo largo de la secuencia para la que se cumple la condición y queda cumplido por todos los términos. Puedo ilustrar esto para $x_n = 1 + \frac{\sin(n)}{n}$, lo que también converge a$1$, $\epsilon=0.05$ sombra de nuevo.

Ahora considere el $X \sim U(0,1)$ y la secuencia de variables aleatorias $X_n = \left(1 + \frac{1}{n}\right) X$. Esta es una secuencia de RVs con $X_1 = 2X$, $X_2 = \frac{3}{2} X$, $X_3 = \frac{4}{3} X$ y así sucesivamente. En qué sentidos podemos decir que esto está acercando a $X$ sí?

Desde $X_n$ $X$ son distribuciones, no sólo los números, la condición de $|X_n - X| \lt \epsilon$ es ahora un evento: incluso para un fijo $n$ $\epsilon$ esto podría o no ocurrir. Teniendo en cuenta la probabilidad de que se reunió da lugar a la convergencia en probabilidad. Para $X_n \overset{p}{\to} X$ queremos que el complemento de la probabilidad de $P(|X_n - X| \ge \epsilon)$ - intuitivamente, la probabilidad de que $X_n$ es algo diferente (por lo menos $\epsilon$) $X$ - a ser arbitrariamente pequeño, lo suficientemente grande para $n$. Para una fija $\epsilon$ esto da lugar a una secuencia de probabilidades, $P(|X_1 - X| \ge \epsilon)$, $P(|X_2 - X| \ge \epsilon)$, $P(|X_3 - X| \ge \epsilon)$, $\dots$ y si esta secuencia de probabilidades converge a cero (como ocurre en nuestro ejemplo), entonces decimos que $X_n$ converge en probabilidad a $X$. Tenga en cuenta que la probabilidad de límites a menudo son constantes: por ejemplo, en las regresiones en econometría, vemos a $\text{plim}(\hat \beta) = \beta$ como aumentar el tamaño de la muestra $n$. Pero aquí $\text{plim}(X_n) = X \sim U(0,1)$. Efectivamente, la convergencia en probabilidad significa que es poco probable que $X_n$ $X$ va a diferir mucho de un particular, la realización - y puedo hacer que la probabilidad de $X_n$ $X$ más que $\epsilon$ aparte tan pequeño como me gusta, siempre que puedo elegir una lo suficientemente grande $n$.

Un sentido diferente en el que $X_n$ se convierte en algo más cercano a $X$ es que sus distribuciones de buscar más y más parecidos. Puedo medir esto mediante la comparación de sus Cdf. En particular, recoger algunas $x$ a que $F_X(x) = P(X \leq x)$ es continua (en nuestro ejemplo,$X \sim U(0,1)$, por lo que su CDF es continua en todas partes y cualquier $x$) y evaluar la Cdf de la secuencia de $X_n$s allí. Esto produce que otra secuencia de probabilidades, $P(X_1 \leq x)$, $P(X_2 \leq x)$, $P(X_3 \leq x)$, $\dots$ y esta secuencia converge a $P(X \leq x)$. El Cdf evaluados en $x$ para cada una de las $X_n$ se arbitrariamente cerca de la CDF de $X$ evaluado en $x$. Si este resultado es cierto independientemente de que $x$ hemos seleccionado, a continuación, $X_n$ converge a $X$ en distribución. Resulta que esto que pasa aquí, y no nos debería sorprender ya que la convergencia en probabilidad a $X$ implica la convergencia en distribución a $X$. Tenga en cuenta que no puede ser el caso de que $X_n$ converge en probabilidad a un particular no degenerada de distribución, pero converge en distribución a una constante. (Que fue, posiblemente, el punto de crear confusión en la pregunta original? Pero tenga en cuenta una aclaración posterior.)

Para otro ejemplo, supongamos $Y_n \sim U(1, \frac{n+1}{n})$. Ahora tenemos una secuencia de RVs, $Y_1 \sim U(1,2)$, $Y_2 \sim U(1,\frac{3}{2})$, $Y_3 \sim U(1,\frac{4}{3})$, $\dots$ y es claro que la distribución de probabilidad está degenerando a un pico en $y=1$. Ahora, considere la distribución degenerada $Y=1$, con lo que quiero decir $P(Y=1)=1$. Es fácil ver que para cualquier $\epsilon \gt 0$, la secuencia de $P(|Y_n - Y| \ge \epsilon)$ converge a cero, por lo que el $Y_n$ converge a $Y$ en la probabilidad. Como consecuencia, $Y_n$ debe converger a $Y$ en distribución, con lo que podemos confirmar mediante la consideración de la Cdf. Desde el CDF $F_Y(y)$ $Y$ es discontinua en a $y=1$ no necesitamos considerar la Cdf evaluado en el valor, pero para el Cdf evaluar en cualquier otro $y$ podemos ver que la secuencia $P(Y_1 \leq y)$, $P(Y_2 \leq y)$, $P(Y_3 \leq y)$, $\dots$ converge a $P(Y \leq y)$ que es cero para $y \lt 1$ y uno para $y \gt 1$. Esta vez, debido a que la secuencia de RVs convergente en probabilidad a una constante, se reunieron en la distribución a una constante también.

Algunos de final de aclaraciones:

• A pesar de la convergencia en probabilidad implica la convergencia en distribución, el recíproco es falso en general. Sólo porque dos variables tienen la misma distribución, no significa que tiene que ser probable para ser cerca el uno del otro. Para un ejemplo trivial, tome $X\sim\text{Bernouilli}(0.5)$$Y=1-X$. A continuación, $X$ $Y$ ambos tienen exactamente la misma distribución (un 50% de probabilidad de cada uno de ser cero o uno) y la secuencia de $X_n=X$ es decir, la secuencia de va $X,X,X,X,\dots$ trivialmente converge en distribución a $Y$ (el CDF en cualquier posición en la secuencia es la misma que la CDF de $Y$). Pero $Y$ $X$ siempre son un aparte, por lo $P(|X_n - Y| \ge 0.5)=1$, por lo que no tiende a cero, por lo $X_n$ no converge a $Y$ en la probabilidad. Sin embargo, si hay convergencia en distribución a una constante, entonces, que implica la convergencia en probabilidad a que la constante (de manera intuitiva, más adelante en la secuencia será raro estar lejos de esa constante).
• Como mis ejemplos ponen de manifiesto, la convergencia en probabilidad puede ser constante, pero no tiene que ser; la convergencia en distribución también puede ser una constante. No es posible la convergencia en probabilidad a una constante, sino que convergen en la distribución a un particular no degenerada de distribución, o viceversa.
• Es posible que hayas visto un ejemplo en el que, por ejemplo, se le dijo una secuencia $X_n$ convergente otra secuencia $Y_n$? Puede que no se han dado cuenta de que era una secuencia, pero el give-away sería si se trataba de una distribución que también dependía de la $n$. Podría ser que ambas secuencias convergen a una constante (es decir, los degenerados de distribución). Su pregunta sugiere que usted se está preguntando cómo una secuencia particular de RVs podría convergen tanto a una constante y una distribución; me pregunto si esta es la situación que usted describe.
• Mi explicación no es muy "intuitivo" - yo tenía la intención de hacer la intuición gráfica, pero no he tenido tiempo para agregar los gráficos para el RVs todavía.

Answer 2

Cómo un número aleatorio puede converger a una constante?

Digamos que usted ha $N$ bolas en la caja. Usted puede recoger uno por uno. Después de haber escogido $k$ bolas, me pregunto cuál es la media del peso de las bolas en la caja? La mejor respuesta sería $\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$. Te das cuenta de que $\bar x_k$ sí es el valor aleatorio? Depende de cual $k$ bolas se selecciona primero.

Ahora, si siguen tirando de las bolas, en algún momento no habrá de bolas en la caja, y obtendrá $\bar x_N\equiv\mu$.

Así, lo que tenemos es la secuencia aleatoria $[\bar x_1,\dots,\bar x_k]$ que converge a la constante $\mu$. Así, la clave para entender el problema de la convergencia en probabilidad es darse cuenta de que estamos hablando acerca de la secuencia de variables aleatorias, que construye de una manera determinada.

La próxima vamos a obtener los números aleatorios uniformes $e_1,e_2,\dots$ donde $e_i\in [0,1]$. Veamos la secuencia aleatoria $\xi_1,\xi_2,\dots$ donde $\xi_k=\frac{1}{\sqrt{k/12}}\sum_{i=1}^k(e_i-1/2)$. El $\xi_k$ es un valor aleatorio, debido a que todos sus términos son valores aleatorios. No podemos predecir lo es $\xi_k$ va a ser. Sin embargo, resulta que podemos afirmar que las distribuciones de probabilidad de $\xi_k$ se parece más a la normal estándar $\mathcal{N}(0,1)$. Que es como las distribuciones convergen.

Answer 3

En mi mente, las respuestas existentes transmitir todos los puntos útiles pero no hacen una importante distinción clara entre los dos modos de convergencia.

Deje $X_n,n=1,2,\dots$ $Y$ ser variables aleatorias. Para la intuición, imagine $X_n$ son asignadas a sus valores por algún azar experimento que cambia un poquito para cada uno de los $n$, dando una secuencia infinita de variables aleatorias, y supongamos $Y$ obtiene su valor asignado por algún otro experimento al azar.

Si $X_n\overset{p}{\to}Y$, por definición, la probabilidad de $Y$ $X_n$ a diferencia de los demás por algunos arbitrariamente pequeña cantidad se aproxima a cero como $n\to\infty$, por pequeña cantidad como te gusta. A grandes rasgos, muy lejos en la secuencia de $X_n$, estamos seguros de $X_n$ $Y$ va a tomar valores muy cercanos uno del otro.

Por otro lado, si sólo tenemos la convergencia en la distribución y no la convergencia en probabilidad, entonces, sabemos que para la gran $n$, $P(X_n\leq x)$ es casi el mismo que $P(Y\leq x)$, para casi todos los $x$. Tenga en cuenta que esto no dice nada acerca de cómo cerca de los valores de $X_n$ $Y$ son el uno al otro. Por ejemplo, si $Y\sim N(0, 10^{10})$, y por lo tanto $X_n$ se distribuye también muy parecida a esta para grandes $n$, entonces parece intuitivamente probable que los valores de $X_n$ $Y$ difieren por mucho de cualquier observación. Después de todo, si no hay ninguna restricción en ellos además de la convergencia en la distribución, que pueden muy bien para todos los motivos de práctica de ser independientes $N(0,10^{10})$ variables.

(En algunos casos puede incluso no tener sentido para comparar el $X_n$$Y$, tal vez ni siquiera están definidos en el mismo espacio de probabilidad. Esta es una nota técnica).

Answer 4

Lo que no entiendo es cómo puede una variable aleatoria convergen a un único número, pero también converge a una distribución?

Si estás aprendiendo econometría, probablemente te estés preguntando acerca de esto en el contexto de un modelo de regresión. Se converge a una distribución degenerada, a una constante. Pero algo más tiene un no-degenerada de la limitación de la distribución.

$\hat{\beta}_n$ converge en probabilidad a $\beta$ si los supuestos se cumplen. Esto significa que mediante la elección de una muestra bastante grande de tamaño $N$, el estimador será tan cerca como queremos el verdadero parámetro, con la probabilidad de que al estar lejos, tan pequeño como queramos. Si usted piensa de trazar el histograma de $\hat{\beta}_n$ varios $n$, finalmente va a ser sólo un pico centrado en $\beta$.

En qué sentido no $\hat{\beta}_n$ convergen en la distribución? También converge a una constante. No para una variable aleatoria normalmente distribuida. Si calcular la varianza de $\hat{\beta}_n$, que se reduce con $n$. Por lo que al final se vaya a cero en lo suficientemente grande como $n$, por lo que el estimador va a una constante. Lo que hace converger a una variable aleatoria normalmente distribuida es

$\sqrt{n}(\hat{\beta}_n - \beta)$. Si usted toma la varianza de que usted va a ver que no encogen (ni crecer) con $n$. En muy grandes muestras, esto será aproximadamente de $N(0, \sigma^2)$ bajo la norma supuestos. A continuación, podemos utilizar esta aproximación para aproximar la distribución de $\hat{\beta}_n$ en la muestra grande.

Pero tienes razón en que la limitación de la distribución de $\hat{\beta}_n$ es también una constante.

Answer 5

Hay algunos grandes respuestas, voy a tratar de dar una breve respuesta con algunos ejemplos muy simples.

La convergencia en distribución:

Deje $X_n \sim N(1/n, 1)$ para todo n, entonces $X_n$ converge a $X \sim N(0, 1)$ en distribución. Sin embargo, la aleatoriedad en la realización de $X_n$ no cambia con el tiempo. Si tenemos que predecir el valor de $X_n$, la expectativa de que nuestro error no cambia con el tiempo.

La convergencia en probabilidad:

Ahora considere la variable aleatoria $Y_n$ que toma el valor 0 con una probabilidad de $1-1/n$, y 1 en caso contrario. Ahora como n tiende a infinito, somos más y más seguro de que $Y_n$ será igual a 0. Por lo tanto, podemos decir $Y_n$ converge en probabilidad a 0. Tenga en cuenta que esto también implica $Y_n$ converge en distribución a $0$.