¿Cómo es $\Pr(X=x|Y=y)$ definido cuando $Y$ es continua y $X$ ¿Discreto?

Question

Digamos que $Y$ es una variable aleatoria continua, y $X$ es discreto. $$ \Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)} $$

Como sabemos, $\Pr(Y=y) = 0$ porque $Y$ es una variable aleatoria continua. Y basándome en esto, estoy tentado a concluir que la probabilidad $\Pr(X=x|Y=y)$ es indefinido.

Sin embargo, Wikipedia afirma aquí que en realidad se define de la siguiente manera: $$ \Pr(X=x|Y=y) = \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)} $$

Pregunta: ¿Alguna idea de cómo ha conseguido Wikipedia definir esa probabilidad?

---

Mi intento

Aquí está mi intento para conseguir ese resultado de Wikipedia en términos de límites: $$\begin{split}\require{cancel} \Pr(X=x|Y=y) &= \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(d \times f_{Y|X=x}(y)\big)}{\big(d \times f_Y(y)\big)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(\cancel{d} \times f_{Y|X=x}(y)\big)}{\big(\cancel{d} \times f_Y(y)\big)}\\ &= \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}\\ \end{split}$$

Ahora, $\Pr(X=x|Y=y)$ parece definirse como $\frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$ que coincide con la afirmación de la Wikipedia.

¿Es así como lo hizo Wikipedia?

Pero Sigo sintiendo que estoy abusando del cálculo aquí. Así que creo que $\Pr(X=x|Y=y)$ es indefinido, pero en el límite a medida que nos acercamos a definir $\Pr(Y=y)$ y $\Pr(Y=y|X=x)$ pero no exactamente, entonces $\Pr(X=x|Y=y)$ se define.

Pero estoy muy inseguro sobre muchas cosas, incluyendo el truco de los límites que hice allí, siento que tal vez ni siquiera estoy entendiendo completamente el significado de lo que hice.

Answer 1

La distribución de probabilidad condicional $\mathbb{P}(X=x|Y=y)$ , $x\in\mathcal{X}$ , $y\in\mathcal{Y}$ se define formalmente como una solución de la ecuación $$\mathbb{P}(X=x,Y\in A)=\int_{A}\mathbb{P}(X=x|Y=y)f_Y(y)\text{d}y\quad\forall A\in\sigma(\mathcal{Y})$$ donde $\sigma(\mathcal{Y})$ denota el $\sigma$ -asociada a la distribución de $Y$ . Una de esas soluciones la proporciona la fórmula de Bayes (1763), como se indica en Wikipedia : $$\mathbb{P}(X=x|Y=y) = \dfrac{\mathbb{P}(X=x) f_{Y|X=x}(y)}{f_Y(y)}\qquad\forall x\in\mathcal{X},\ y\in\mathcal{Y}$$ aunque las versiones que se definen arbitrariamente en un conjunto de medida cero en $\sigma(\mathcal{Y})$ también son válidos.

El concepto de probabilidad condicional con respecto a una hipótesis aislada hipótesis cuya probabilidad es igual a 0 es inadmisible. Ya que podemos obtener una distribución de probabilidad para [la latitud] en el círculo meridiano sólo si consideramos este círculo como un elemento del descomposición de toda la superficie esférica en círculos meridianos con los polos dados - Andrei Kolmogorov

Como muestra la paradoja Borel-Kolmogorov dado un valor específico $y_0$ potencialmente tomada $Y$ la distribución de probabilidad condicional $\mathbb{P}(X=x|Y=y_0)$ no tiene un significado preciso, no sólo porque el evento $\{\omega;\,Y(\omega)=y_0\}$ es de medida cero, pero también porque este evento puede ser interpretado como medible frente a un gama infinita de $\sigma$ -algebras.

Nota: Aquí hay una introducción aún más formal, tomada de una revisión de la teoría de la probabilidad en Blog de Terry Tao :

Definición 9 (Desintegración) Dejemos que $Y$ sea una variable aleatoria con rango $R$ . Una desintegración $(R', (\mu_y)_{y \in R'})$ del espacio muestral subyacente $\Omega$ con respecto a $Y$ es un subconjunto $R'$ de $R$ de medida completa en $\mu_Y$ (así $Y \in R'$ casi seguro), junto con la asignación de una medida de probabilidad ${\bf P}(|Y=y)$ en el subespacio $\Omega_y := \{ \omega \in \Omega: Y(\omega)=y\}$ de $\Omega$ para cada $y \in R$ que es medible en el sentido de que el mapa $y \mapsto {\bf P}(F|Y=y)$ es medible para cada evento $F$ y tal que $$ \displaystyle {\bf P}(F) = {\bf E} {\bf P}(F|Y) $$ para todos estos eventos, donde ${\bf P}(F|Y)$ es la variable aleatoria (casi seguramente definida) definida para que sea igual a ${\bf P}(F|Y=y)$ siempre que $Y=y$ .

Dada tal desintegración, podemos entonces condicionar al evento $Y=y$ para cualquier $y \in R'$ sustituyendo $\Omega$ con el subespacio $\Omega_y$ (con el inducido $\sigma$ -), pero sustituyendo la medida de probabilidad subyacente medida de probabilidad ${\bf P}$ con ${\bf P}(|Y=y)$ . Por lo tanto, podemos condicionar los eventos (incondicionales) $F$ y las variables aleatorias $X$ a este evento para crear eventos condicionados $(F|Y=y)$ y las variables aleatorias $(X|Y=y)$ en el espacio condicionado, dando lugar a probabilidades condicionales probabilidades condicionales ${\bf P}(F|Y=y)$ (que es coherente con la notación existente notación para esta expresión) y las expectativas condicionales ${\bf E}(X|Y=y)$ (asumiendo la integrabilidad absoluta en este espacio condicionado espacio condicionado). A continuación, establecemos ${\bf E}(X|Y)$ para ser la (casi seguramente definida) variable aleatoria definida igual a ${\bf E}(X|Y=y)$ siempre que $Y=y$ .

Answer 2

Voy a dar un esbozo de cómo las piezas pueden encajar cuando $Y$ es continua y $X$ es discreto.

La densidad de unión mixta:

$$ f_{XY}(x,y) $$

Densidad marginal y probabilidad:

$$ f_Y(y) = \sum_{x \in X} f_{XY}(x, y) $$

$$ P(X = x) = \int f_{XY}(x, y) \;dy$$

Densidad condicional y probabilidad:

$$ f_{Y\mid X}(y \mid X = x) = \frac{f_{XY}(x, y)}{P(X=x)} $$

$$ P(X=x \mid Y = y) = \frac{f_{XY}(x, y)}{f_Y(y)} $$

Regla de Bayes:

$$ f_{Y\mid X}(y \mid X = x) = \frac{P(X=x \mid Y = y) f_Y(y)}{P(X=x)} $$

$$ P(X=x \mid Y = y) = \frac{f_{Y\mid X}(y \mid X = x)P(X=x)}{f_Y(y)}$$

Por supuesto, la forma moderna y rigurosa de tratar la probabilidad es a través de la teoría de la medida. Para una definición precisa, véase la respuesta de Xi'an.

Answer 3

Tenga en cuenta que el artículo de Wikipedia utiliza en realidad la siguiente definición: $$f_X(x|Y=y) = \frac{P(Y=y|X=x)f_X(x)}{p(Y=y)} $$ Es decir, trata el resultado como una densidad, no como una probabilidad como la tienes tú. Así que yo diría que tienes razón en que $P(X=x|Y=y)$ es indefinido cuando $X$ es continua y $Y$ discreta, por lo que en su lugar sólo consideramos las densidades de probabilidad sobre $X$ en ese caso.

Edición: Debido a una confusión sobre la notación (ver comentarios) lo anterior se refiere en realidad a la situación opuesta a la que preguntaba Caveman.