¿Qué significa variables aleatorias distribuidas de forma independiente e idéntica?

Question

El lanzamiento de una moneda se denomina IID en varios sitios web. Lo que quiero saber es si estoy entendiendo bien el concepto.

Si X denota una variable aleatoria que significa el "resultado del lanzamiento de una moneda", entonces $x_1, x_2, ... , x_n$ son los resultados del lanzamiento repetido de una moneda. Son $x_1, x_2, ... , x_n$ ¿IID? En caso afirmativo, ¿cómo pueden ser variables las observaciones?

¿O son $X_1, X_2, ... , X_n$ todas consideradas como variables aleatorias si queremos considerarlas IID? ¿Cómo puede una muestra aleatoria ser IID?

Answer 1

"IID" significa independiente y idénticamente distribuido. Una muestra IID también se conoce como "muestra aleatoria". Se refiere a la distribución de todas sus variables aleatorias: $X_1, \ldots, X_n$ . En su caso, usted está buscando la función de masa conjunta $f_{X_1, \ldots, X_n}(x_1, \ldots, x_n)$ .

Normalmente, las variables aleatorias pueden considerarse datos aún no observados y se indican con letras mayúsculas al final del alfabeto, por ejemplo $X_1$ . Una vez lanzada la moneda y observado el $0$ o $1$ (codificamos los resultados de esta forma en lugar de como "cara" frente a "cruz", o $-1$ frente a $1$ ), o una vez que se habla de que una variable aleatoria es hipotéticamente un valor determinado, esa entidad ya no es aleatoria; es un número fijo, y se suele denotar con una letra minúscula como $x_1$ . Podríamos llamarlas "variables", pero no "variables aleatorias".

Si nos fijamos en la notación anterior, si introducimos un conjunto de $n$ números, $x_1, \ldots, x_n$ en la función $f_{X_1, \ldots, X_n}(x_1, \ldots, x_n)$ obtenemos una probabilidad para esta configuración discreta de lanzamientos de moneda.

En general es difícil llegar a una distribución conjunta para su $n$ variables aleatorias $X_1, \ldots, X_n$ . La mayoría de la gente está más familiarizada con las distribuciones univariantes (por ejemplo, Normal, Gamma, Exponencial, Chi-cuadrado, F, t, etc.). En su caso conocemos cada $X_i$ tiene una distribución Bernoulli. En otras palabras, $$ f_{X_i}(x_i) = p^{x_i}(1-p)^{1-x_i}, $$ donde $0 < p < 1$ es algún parámetro para cada variable aleatoria.

1. Independiente significa que la articulación "se divide" o se factoriza en $n$ marginales individuales, uno para cada variable aleatoria. O en otras palabras:

$$ f_{X_1, \ldots, X_n}(x_1, \ldots, x_n) = f_{X_1}(x_1) \times \cdots \times f_{X_n}(x_n). $$

2. Idéntico significa que todas son funciones de masa de probabilidad idénticas. O en su caso, cada variable aleatoria de lanzamiento de moneda comparte el mismo parámetro $p$ .

$$ f_{X_1}(x_1) \times \cdots \times f_{X_n}(x_n) = [p^{x_1}(1-p)^{1-x_1}] \times \cdots \times[p^{x_n}(1-p)^{1-x_n}]. $$

Juntando estas dos suposiciones, su función de masa de distribución/probabilidad conjunta, es

$$ f_{X_1, \ldots, X_n}(x_1, \ldots, x_n) = p ^{\sum_i x_i} (1-p)^{n - \sum_i x_i}. $$

Answer 2

( nota : Creo que el problema del OP tiene más que ver con confundir los conceptos de la teoría de la probabilidad y las variables aleatorias que con el significado real de "i.i.d.". Así que intentaré dar una explicación informal. En cuanto a las matemáticas de i.i.d., la respuesta de @Taylor es bastante acertada).

Las variables aleatorias son abstracciones que se utilizan para representar problemas no deterministas, no monedas, dados u otros "objetos aleatorios". Así que no hay reglas estrictas que digan que lanzar una moneda es $X$ dos lanzamientos de moneda son $X_1$ y $X_2$ etc.

Lo interesante de modelar una moneda como una única variable $X$ es que crea una abstracción para todas las monedas, o todas las posibles realizaciones de una moneda tosse. Mientras tu moneda sea justa, cada vez que la lances, puedes pensar en una variable $X$ que sigue una distribución Bernoulli.

Si estás estudiando una sucesión de lanzamientos de monedas, se te pueden ocurrir las formas más rebuscadas de modelarla. Por ejemplo, podrías pensar en una variable aleatoria $Y$ que representa todos los resultados posibles de una secuencia de $n$ lanzar la moneda. O usted podría hacer algo aún más extraño, como una variable aleatoria $Y_3$ para los resultados combinados de los 3 primeros lanzamientos, y otra variable aleatoria $Y_r$ para los resultados combinados de los lanzamientos restantes.

Pero eso sería una tontería. ¿Por qué? Porque lanzar una moneda tiene dos cosas interesantes $n$ veces:

1. cada lanzamiento no afecta a los demás (independencia);
2. todos los lanzamientos son idénticos: la probabilidad de que salga cara en cada lanzamiento es siempre 0,5 (distribuciones idénticas).

Así que, para responder a su tercera pregunta:

¿O son $X_1$ , $X_2$ ,..., $X_n$ todas consideradas como variables aleatorias si queremos considerarlas IID?

No se "consideran" variables aleatorias. No existen $X_1$ , $X_2$ ,..., $X_n$ en el mundo real y nada que diga que hay que pensar en $X_1$ , $X_2$ ,..., $X_n$ cuando piensas en $n$ lanzar la moneda.

Sin embargo, cuando se piensa en esos $n$ variables y sus distribuciones de probabilidad, se puede decir que todas son i.i.d. debido a las propiedades 1 y 2 anteriores. Y en la teoría de la probabilidad hay todo tipo de matemáticas útiles que otras personas descubrieron que se pueden utilizar cuando se tiene una colección de variables i.i.d..

Para que quede claro, estas variables son independientes porque representan acontecimientos independientes (cada $X_i$ está relacionado con otro lanzamiento independiente). Y están idénticamente distribuidos porque todos siguen la misma distribución: la distribución de probabilidad de Bernoulli con $p=0.5$ .

Entonces, ¿qué pasó con $X$ ? Nada. Note que usted inventó esas variables aleatorias $X_1$ , $X_2$ ,..., $X_n$ porque lanzar una moneda $n$ veces es un problema diferente al de lanzar una moneda una sola vez. Lo interesante de $X$ es que cada variable $X_i$ tiene, individualmente, las mismas propiedades que su variable original $X$ .

Ahora volvamos a sus preguntas restantes:

Si $X$ denota una variable aleatoria que significa el "resultado de lanzar una moneda" entonces $x_1$ , $x_2$ , ..., $x_n$ son los resultados del lanzamiento repetido de una moneda. Son $x_1$ , $x_2$ , ..., $x_n$ ¿IID? En caso afirmativo, ¿cómo pueden ser variables las observaciones? [...]
¿Cómo puede una muestra aleatoria ser IID?

La terminología de la teoría de la probabilidad puede resultar complicada a veces, porque todos los conceptos están estrechamente relacionados. Pero esto es lo que (creo) saber.

En sentido estricto, lo correcto sería decir que $x_1$ , $x_2$ , ..., $x_n$ son dibujado a partir de una colección de variables i.i.d. $X_1$ , $X_2$ , ..., $X_n$ .

Sin embargo, aunque las observaciones sólo existen una vez lanzada la moneda (y, por tanto, ya no es aleatoria), seguimos hablando en términos generales. Estamos hablando de cualquier posible situación en la que podrías tener esos $n$ observaciones, no sobre un conjunto concreto de observaciones que conoces porque acabas de lanzar una moneda muchas veces. Así que no las conocemos. Podríamos tratarlas como variables aleatorias.

Por lo tanto, aunque las observaciones no sean variables aleatorias, tiene sentido asociarles muchas propiedades que sí pertenecen a las variables aleatorias. Por extensión, podemos decir que $x_1$ , $x_2$ , ..., $x_n$ son i.i.d. porque se extrajeron de forma independiente y a partir de distribuciones idénticas.