¿Podría alguien explicar la independencia condicional?

Question

Lo que yo entiendo ahora mismo es que un ejemplo de independencia condicional sería:

Si dos personas viven en la misma ciudad, la probabilidad de que esa persona A llega a casa a tiempo para cenar, y la probabilidad de que esa persona B llegar a casa a tiempo para cenar son independientes; es decir, no esperaríamos que una tuviera efecto sobre la otra. Pero si una tormenta de nieve azota la ciudad e introduce una probabilidad C que el tráfico estará parado, cabría esperar que la probabilidad de que ambos A llegar a casa a tiempo para cenar y B llegar a casa a tiempo para la cena, cambiaría.

Si esta es una interpretación correcta, creo que sigo sin entender qué es exactamente la independencia condicional es o qué hace por nosotros (por qué tiene un nombre separado, en lugar de sólo probabilidades compuestas), y si esto no es una comprensión correcta, ¿podría alguien por favor proporcionar un ejemplo con una explicación?

Answer 1

El escenario que describes es un buen ejemplo de independencia condicional, aunque no lo has descrito del todo como tal. En el artículo de Wikipedia lo pone,

$R$ y $B$ son condicionalmente independientes [dado $Y$ ] dado el conocimiento de si $Y$ se produce, el conocimiento de si $R$ o no proporciona información sobre la probabilidad de $B$ o conocimiento de si $B$ no proporciona ninguna información probabilidad de $R$ ocurriendo.

En este caso, $R$ y $B$ son los acontecimientos de las personas A y B llegar a casa a tiempo para cenar, y $Y$ en caso de tormenta de nieve en la ciudad. Ciertamente, las probabilidades de $R$ y $B$ dependerá de si $Y$ ocurre. Sin embargo, igual que es plausible suponer que si estas dos personas no tienen nada que ver entre sí sus probabilidades de llegar a casa a tiempo son independientes, también es plausible suponer que, aunque ambas tendrán una probabilidad menor de llegar a casa a tiempo si cae una tormenta de nieve, estas probabilidades menores seguirán siendo, no obstante, independientes entre sí. Es decir, si usted ya sabe que está cayendo una tormenta de nieve y yo le digo que esa persona A llega tarde a casa, eso no te da ninguna información nueva sobre si la persona B es llegar tarde a casa. Usted está recibiendo información sobre el hecho de que hay una tormenta de nieve, pero dado ese hecho, el hecho de que A llega tarde a casa no hace que sea más o menos probable que B también llega tarde a casa. Así pues, la independencia condicional es lo mismo que la independencia normal, pero restringida al caso en que se sabe que se cumple o no una determinada condición. No sólo no puedes saber A informándose sobre B en general (independencia normal), pero tampoco puede hacerlo bajo la condición de que haya una tormenta de nieve (independencia condicional).

Un ejemplo de sucesos que son independientes pero no condicionalmente independientes sería: Se toma una muestra aleatoria de dos personas A y B de una gran población y considerar las probabilidades de que lleguen a casa a tiempo. Sin más conocimientos, es plausible suponer que estas probabilidades son independientes. Ahora se introduce el suceso $Y$ que se produce si las dos personas viven en el mismo barrio (sea cual sea su definición). Si sabe que $Y$ ocurrido y te digo que A llega tarde a casa, entonces eso tendería a aumentar la probabilidad de que B también llega tarde a casa, ya que viven en el mismo barrio y cualquier causa relacionada con el tráfico de A llegar tarde a casa también podría retrasar B . Así que en este caso las probabilidades de A y B llegar a casa a tiempo no son condicionalmente independientes dado $Y$ , ya que una vez que sabes que $Y$ se ha producido, puede obtener información sobre la probabilidad de B llegar a casa a tiempo averiguando si A es llegar a casa a tiempo.

Estrictamente hablando, este escenario sólo funciona si siempre hay la misma cantidad de retraso de tráfico en la ciudad en general y sólo se desplaza a diferentes barrios. Si no fuera así, no sería correcto suponer la independencia entre las dos probabilidades, ya que el hecho de que uno de los dos llegue tarde a casa ya haría algo más probable que hubiera mucho tráfico en la ciudad en general, incluso sin saber que viven en el mismo barrio.

Por poner un ejemplo concreto: Digamos que tiras un dado azul y otro rojo. Los dos resultados son independientes entre sí. Ahora me dices que el resultado azul no es un $6$ y el resultado rojo no es un $1$ . Me has dado nueva información, pero eso no ha afectado a la independencia de los resultados. Al mirar el dado azul, no puedo obtener ningún conocimiento sobre el dado rojo; después de mirar el dado azul seguiré teniendo una probabilidad de $1/5$ para cada número del dado rojo excepto $1$ . Así que las probabilidades de los resultados son condicionalmente independientes dada la información que me has dado. Pero si en cambio me dices que la suma de los dos resultados es par, esto me permite aprender mucho sobre el dado rojo mirando el dado azul. Por ejemplo, si veo un $3$ en el dado azul, el dado rojo sólo puede ser $1$ , $3$ o $5$ . Así que en este caso las probabilidades de los resultados no son condicionalmente independientes dada esta otra información que me has dado. Esto también subraya que la independencia condicional es siempre relativa a la condición dada -- en este caso, los resultados de las tiradas de dados son condicionalmente independientes con respecto al suceso "el resultado azul no es ". $6$ y el resultado rojo no es $1$ ", pero no son condicionalmente independientes con respecto al suceso "la suma de los resultados es par".

Answer 2

El ejemplo que has puesto (la tormenta de nieve) se suele dar como un caso en el que se podría piense en dos sucesos podrían ser realmente independientes (ya que toman rutas totalmente distintas para volver a casa), es decir

$p(A|B)=p(A)$ .

Sin embargo, en este caso no son realmente independientes, son "sólo" condicionalmente independientes dada la tormenta de nieve, es decir.

$p(A|B,Z) = p(A|Z)$ .

Un ejemplo más claro parafraseado de Sitio web de Norman Fenton si Alice (A) y Bob (B) lanzan la misma moneda, pero ésta puede estar sesgada, no podemos decir

$p(A=H|B=H) = p(A=H)$

(es decir, que son independientes) porque si vemos que Bob tira cara, es más probable que esté sesgado hacia la cara y, por tanto, la probabilidad de la izquierda debería ser mayor. Sin embargo, si denominamos Z al suceso "la moneda tiene tendencia a salir cara", entonces

$p(A=H|B=H,Z)=p(A=H|Z)$

podemos eliminar a Bob de la ecuación porque sabemos que la moneda está sesgada. Dado que la moneda está sesgada, los dos lanzamientos son condicionalmente independientes.

Esta es la forma común de independencia condicional, tienes eventos que no son estadísticamente independientes, pero son condicionalmente independientes.

Es posible que algo sea estadísticamente independiente y no condicionalmente independiente. Tomando prestado de Wikipedia : si $A$ y $B$ ambos toman el valor $0$ o $1$ con $0.5$ probabilidad, y $C$ denota el producto de los valores de $A$ y $B$ ( $C=A\times B$ ), entonces $A$ y $B$ son independientes:

$p(A=0|B=0) = p(A=0) = 0.5$

pero no son condicionalmente independientes dado $C$ :

$p(A=0|B=0,C=0) = 0.5 \neq \frac{2}{3} = p(A=0|C=0)$

Answer 3

En otras respuestas se han dado estupendas explicaciones sobre el significado intuitivo de la dependencia condicional. Aquí no voy a añadir nada más, sino que quiero responder a tu pregunta sobre "lo que nos aporta", centrándome en las implicaciones computacionales.

Hay tres acontecimientos/proposiciones/variables aleatorias en juego, $A$ , $B$ y $C$ . Tienen una probabilidad conjunta, $P(A,B,C)$ . En general, una probabilidad conjunta para tres sucesos puede factorizarse de muchas formas distintas: \begin{align} P(A,B,C) &= P(A)P(B,C|A)\\ &= P(A)P(B|A)P(C|A,B) \;=\; P(A)P(C|A)P(B|A,C)\\ &= P(B)P(A,C|B)\\ &= P(B)P(A|B)P(C|A,B) \;=\; P(B)P(C|B)P(A|B,C)\\ &= P(C)P(A,B|C)\\ &= P(C)P(A|C)P(B|A,C) \;=\; P(C)P(B|C)P(A|B,C)\\ \end{align} Hay que tener en cuenta que cada expresión del lado derecho incluye un factor con tres variables . 

Ahora supongamos que nuestra información sobre el problema nos dice que $A$ y $B$ son condicionalmente independientes dado $C$ . Una notación convencional para esto es: $$ A \perp\!\!\!\perp B \,|\, C, $$ lo que significa (entre otras implicaciones), $$ P(A|B,C) = P(A|C). $$ Esto significa que la última de las muchas expresiones que mostré para $P(A,B,C)$ anterior se puede escribir, $$ P(A,B,C) = P(C)P(B|C)P(A|C). $$ Desde un punto de vista informático, lo más importante es tener en cuenta que la dependencia condicional significa podemos escribir la función de 3 variables $P(A,B,C)$ en términos de funciones de 1 y 2 variables . En pocas palabras, la independencia condicional significa que las distribuciones conjuntas son más sencillas de lo que podrían haber sido. Cuando hay lotes de variables, la independencia condicional puede implicar gran simplificaciones de probabilidades conjuntas. Y si (como suele ser el caso) hay que sumar o integrar sobre algunas de las variables, la independencia condicional puede permitir sacar algunos factores a través de una suma/integración, simplificando el sumando/integración.

Esto puede ser muy importante para la implementación computacional de la inferencia bayesiana. Cuando queremos cuantificar con qué fuerza algunos datos observados, $D$ apoyar las hipótesis rivales $H_i$ (con $i$ una etiqueta que distingue las hipótesis), es probable que esté acostumbrado a ver el teorema de Bayes (BT) en su forma "posterior". $\propto$ forma "prior times likelihood": $$ P(H_i|D) = \frac{P(H_i)P(D|H_i)}{P(D)}, $$ donde los términos del numerador son la probabilidad a priori para $H_i$ y la probabilidad muestral (o predictiva condicional) para $D$ (también conocida como probabilidad de $H_i$ ), y el término en el denominador es la probabilidad predictiva previa para $D$ (también conocida como probabilidad marginal, ya que es el marginal de $P(D,H_i)$ ). Pero recordemos que $P(H_i,D) = P(H_i)P(D|H_i)$ (de hecho, se suele derivar BT utilizando esto, y equiparándolo a la factorización alternativa). Así pues, BT puede escribirse como $$ P(H_i|D) = \frac{P(H_i,D)}{P(D)}, $$ o, en palabras, $$ \mbox{Posterior} = \frac{\mbox{Joint for everything}}{\mbox{Marginal for observations}}. $$ En los modelos con estructuras de dependencia complejas, ésta resulta ser la forma más sencilla de pensar en la modelización: El modelador expresa la probabilidad conjunta de los datos y todas las hipótesis (posiblemente incluyendo parámetros latentes para cosas que no conoce pero que necesita conocer para predecir los datos). A partir de la unión, se calcula el marginal de los datos, para normalizar la unión y obtener la posterior (puede que ni siquiera sea necesario, por ejemplo, si se utilizan métodos MCMC que no dependen de constantes de normalización).

Ahora puedes ver el valor de la independencia condicional. Dado que el punto de partida del cálculo es la unión para todo, cualquier cosa que puedas hacer para simplificar la expresión para la unión (y sus sumas/integrales) puede ser de gran ayuda para el cálculo. Los lenguajes de programación probabilísticos (por ejemplo, BUGS, JAGS y, hasta cierto punto, Stan) utilizan representaciones gráficas de los supuestos de dependencia condicional para organizar y simplificar los cálculos.

Answer 4

Sin independencia

Tome una muestra aleatoria de escolares y obtenga para cada niño datos sobre:

• Tamaño del pie ( $F$ )
• Puntuación de alfabetización ( $L$ ).

Ambas estarán correlacionadas (positivamente), en el sentido de que cuanto mayor sea el tamaño del pie, mayor será la puntuación en alfabetización.

Las variables aleatorias $F$ y $L$ son no independiente.

Confundidor

Obviamente, un mayor tamaño de los pies no es la causa directa de una mayor puntuación en alfabetización. Lo que correlaciona ambas cosas es la edad del niño ( $A$ ), que es el factor de confusión en la estructura de horquilla anterior.

Si te digo la talla de pie de alguien, insinúa su edad que, a su vez, indica su nivel de alfabetización. Así que podemos escribir:

$$ P(L|F) \neq P(L) $$

De nuevo, las variables aleatorias $F$ y $L$ son no independiente.

Acondicionamiento

Al condicionar por la edad (el factor de confusión), ya no consideramos la relación entre el tamaño del pie y la alfabetización para toda la muestra, sino por cada grupo de edad por separado.

De este modo se aniquila la correlación causada por el factor de confusión y se independizan la talla del pie y la puntuación en alfabetización.

Si bien es cierto que la edad es un indicio de la puntuación en alfabetización, si ahora te digo la talla de pie de alguien no te da ni una pizca de indicio sobre su edad, porque su edad viene dada (la condicionamos): no hay correlación.

$$ P(L|F, A) = P(L|A) $$

Y así:

$$ P(L|F) = P(L) $$

Conclusión

Así que esto era sólo un ejemplo de dos variables aleatorias $F$ y $L$ que eran:

• dependiente cuando no está condicionado a $A$
• independiente cuando se condiciona a $A$

Decimos que $F$ es condicionalmente independiente de $L$ dado $A$ :

$$ (F \perp L | A) $$

Answer 5

Me limitaré aquí a ejemplificar un caso aún no tratado: un ejemplo de sino INdependencia condicional . Por favor, comuníqueme cualquier mejora o error.

En consonancia con su OP, donde definió $A$ y $B$ vivir en la misma ciudad, que
$Pr(A)$ = probabilidad de que la persona A llegue a casa a tiempo para cenar y
$Pr(B)$ = la probabilidad de que la persona B llegue a casa a tiempo para cenar.
Aquí, asumo que $A$ & $B$ viven en el mismo barrio.

Sea $E$ ser el caso de una evacuación obligatoria de toda la ciudad debido a la amenaza de la caída de un satélite.

En línea con el 2º párrafo del usuario joriki, $Pr(A)$ y $Pr(B)$ son concebiblemente dependientes.

Sin embargo, dada la condición de $E$ ambas personas $A$ y $B$ probablemente no vuelva a casa esta noche. Si el satélite se estrella antes de la hora de cenar, entonces tal vez. Si todavía no se ha estrellado, entonces probablemente no. En ambos casos, cualquier información sobre la hora de regreso de la persona A no revela nada sobre la de la persona B. En otras palabras, $Pr(A|E)$ y $Pr(B|E)$ serán condicionalmente independientes.