¿Por qué nos referimos al denominador del teorema de Bayes como "probabilidad marginal"?

Question

Consideremos la siguiente caracterización del teorema de Bayes:

Teorema de Bayes

Dados algunos datos observados $x$ la probabilidad posterior de que el parámetro $\Theta$ tiene el valor $\theta$ es $p(\theta \mid x) = p(x \mid \theta) p (\theta) / p(x)$ , donde $p(x \mid \theta)$ es la probabilidad, $p(\theta)$ es la probabilidad a priori del valor $\theta$ y $p(x)$ es la probabilidad marginal del valor $x$ .

¿Hay alguna razón especial por la que llamamos $p(x)$ ¿la "probabilidad marginal"? ¿Qué tiene de "marginal"?

Answer 1

Si se considera que una distribución conjunta es una tabla de valores en columnas y filas con sus probabilidades introducidas en las celdas, entonces la "distribución marginal" se encuentra sumando los valores de la tabla a lo largo de las filas (o columnas) y escribiendo el total en los márgenes de la tabla.

$$\begin{array}{c c} & X \\ \Theta & \boxed{\begin{array}{c|cc|c} ~ & 0 & 1 & X\mid \Theta \\ \hline 0 & 0.15 & 0.35 & 0.5 \\ 1 & 0.20 & 0.30 & 0.5 \\\hline \Theta\mid X & 0.35 & 0.65 & ~\end{array}}\end{array}$$

Answer 2

Para mí, el teorema de Bayes consiste en invertir las funciones de probabilidad, y en ese contexto llamarlo probabilidad marginal tiene sentido.

• Digamos que tengo una observación $c$ ,
• y un conjunto de estados $\mathbf{s}=\{s_1,\ldots,s_n\}$ que podría estar causando esa observación.
• Y cada uno de esos estados también define una probabilidad: $P(c\mid s_i)$
• también tenemos una previa $P(s_i)$ (Asumo que ya has motivado lo anterior, si no es así haz otra pregunta en este sitio)
• Así que quiero saber el estado, basado en la variable
• Si sólo quisiera saber cuál es el estado más probable, y cómo se comparan entre sí, podría definir una función de puntuación, combinando la probabilidad de nuestra observación dado que estamos en el estado, con la probabilidad base de estar en el estado: $$\operatorname{score}_c(s_i)= P(c\mid s_i)P(s_i)$$
• Entonces, para encontrar el estado más probable $s^\star$ Yo sólo encontraría el argmax $$s^\star = \operatorname{argmax}_{\forall s_i \in \mathbf{s}} \operatorname{score}_c(s_i) = \operatorname{argmax}_{\forall s_i \in \mathbf{s}} P(c\mid s_i)P(s_i)$$
• La función de puntuación es muy bonita. Podemos pensar en un vector de puntuación, que tiene todas las puntuaciones y podemos ver cuál es la más probable, y cuál es la menos. Pero no se suma a uno. Nos gustaría que la suma fuera de uno -- lo normalizaríamos y lo llamaríamos probabilidad (aunque no lo sea -- pero resultará que lo es). Nuestra puntuación normalizada sólo depende de $c$ por lo que será $P(s_i\mid c)$ La justificación adecuada de esto está fuera del alcance de esta respuesta. La puntuación normalizada viene dada por $$P(s_i\mid c)=\dfrac{\operatorname{score}_c(s_i)}{\sum_{\forall s_j\in \mathbf{s}} \operatorname{score}_c(s_j) } = \dfrac{P(c\mid s_i)P(s_i)}{\sum_{\forall s_j\in \mathbf{s}} P(c\mid s_j)P(s_j) }$$
  • lo anterior es una forma muy útil del Teorema de Bayes.
  • veamos más de cerca el resultado final: $$\sum_{\forall s_j\in \mathbf{s}} P(c\mid s_j)P(s_j) = \sum_{\forall s_j\in \mathbf{s}} P(c,s_j)$$
• Así que estamos sumando la probabilidad conjunta, sobre todos los posibles valores que puede tomar uno de sus campos. Esa es la propia definición de la probabilidad marginal del otro campo. $$P(c) = \sum_{\forall s_j\in \mathbf{s}} P(c,s_j)$$
• Nuestro fondo como -- el factor de normalización para que sume a uno -- que es sólo la probabilidad marginal de $c$ . Sustituyendo eso de nuevo: $$P(s_i\mid c) = \dfrac{P(c\mid s_i)P(s_i)}{P(c)}$$

Así que el resultado final $P(c)$ era sólo una probabilidad marginal, que encontramos sumando sobre todos los valores posibles para el otro campo ( $s_i$ ) en la línea superior.

Answer 3

La explicación que me dieron cuando me enseñaron las probabilidades condicionales es que si elaboras una tabla con las probabilidades $p(x,y)$ , entonces las sumas de fila/columna $$p(x) = \sum_{y} p(x,y)$$ (por la ley de la probabilidad total) se escriben en el márgenes de la mesa.