Teorema de Bayes con pruebas infinitesimales

Question

El teorema de Bayes se suele enunciar como

$$\mathrm{posterior} = \frac{\mathrm{likelihood}\times\mathrm{prior}}{\mathrm{evidence}}$$

Entonces, ¿qué ocurre con la probabilidad posterior cuando las pruebas de un suceso son muy pequeñas/infinitesimales? Matemáticamente, se hace grande, pero ¿qué significa en términos reales?

Answer 1

Supongo que el caso más conocido es cuando $X=[X_1,X_2]^\top$ y $X\sim N_2(\mu, V)$ donde $V\in\mathbb R^{2\times 2}$ es simétrica y definida positiva, y se desea obtener la distribución condicional de $X_1$ dado el valor observado de $X_2$ .

En ese caso y quizá en todos los demás que he visto, incluidos los casos en que la probabilidad marginal de la prueba no es $0$ La forma más sencilla de proceder es hallar primero el producto puntual de la densidad a priori y la función de verosimilitud y luego averiguar por qué constante hay que multiplicarlo para que se integre en $1$ .

Por ejemplo, supongamos que el resultado posterior es $$ \text{some constant}\cdot x\mapsto x^\text{some power} e^{-x/\text{some scale parameter}}\,dx \qquad \text{on }(0,\infty)\text{ and $ 0 $ on $ (-\infty,0) $}. $$ La "cierta constante" es el recíproco de la probabilidad marginal de la prueba, al menos en los casos en que esa probabilidad no es $0$ . Podrías encontrar esa probabilidad marginal calculando alguna integral. Pero no es necesario, ya que sabemos que $$ \int_0^\infty x^{\alpha-1} e^{-x/\beta} \, dx = \beta^\alpha \Gamma(\alpha). $$ Así pues, la distribución es $$ \frac{1}{\Gamma(\alpha)}\left( \frac x \beta \right)^{\alpha-1} e^{-x/\beta}\, \frac{dx}\beta\quad\text{on $ (0,\infty) $ and $ 0 $ elsewhere.} $$ Esto suele dar mucho menos trabajo que evaluar la integral que da la probabilidad marginal de los datos, que nos daría el mismo resultado.

En el caso normal bivariante citado anteriormente, la distribución posterior es $$ \text{some constant}\cdot \exp\left( -\left( \frac{x-\text{something}}{\text{something}} \right)^2 \right) \, dx. $$ Como sabemos evaular integrales de Gauss sobre toda la recta, podemos encontrar la "constante" que aparece al principio.

PS: Bien, ahora tengo tiempo para extenderme un poco más. Aquí está el ejemplo Gamma anterior con detalles. Supongamos que $$ f_\Lambda(\lambda)\,d\lambda = \frac 1 {\Gamma(\alpha)} \left(\frac \lambda \beta\right)^{\alpha-1} e^{-\lambda/\beta}\,\frac{d\lambda}\beta \text{ for }\lambda>0\text{ and }=0\text{ for }\lambda<0 $$ (la distribución a priori de $\Lambda$ una distribución Gamma) y $$ X\mid\Lambda \sim \mathrm{Poisson}(\Lambda) $$ para que $$ \Pr(X=x\mid\Lambda) = \frac{\Lambda^x e^{-\Lambda}}{x!}\text{ for }x\in\{0,1,2,3,\ldots\}. $$ Entonces queremos la distribución condicional de $\Lambda$ dado $X=x$ . Tenemos el $$ f_\Lambda(\lambda)\propto\lambda^{\alpha-1}e^{-\lambda/\beta} $$ y la probabilidad $$ L(\lambda) \propto \lambda^x e^{-\lambda}. $$ Ya ves que ni siquiera me molesto en normalizar las constantes. Por lo tanto, la distribución posterior es $$ f_{\Lambda\mid X=x}(\lambda)\,d\lambda \propto \lambda^{x+\alpha-1} e^{-\lambda/(\beta/(1+\beta))}\,d\lambda\text{ for }\lambda>0. $$ Por tanto, la posterior es una distribución Gamma con forma $x+\alpha$ donde el anterior había $\alpha$ y escala $\beta/(1+\beta)$ donde el anterior había $\beta$ .

Ahora nuestro conocimiento de la distribución Gamma nos dice cuál es la constante normalizadora, de modo que obtenemos $$ \frac 1 {\Gamma(x+\alpha)} \left(\frac{\lambda}{\beta/(1+\beta)}\right)^{x+\alpha-1} e^{-\lambda/(\beta/(1+\beta))} \, \frac{d\lambda}{\beta/(1+\beta)}\text{ for }\lambda>0. $$

Podríamos haber obtenido el mismo resultado utilizando la probabilidad marginal $\Pr(X=x)$ (esta vez no condicionado a $\Lambda$ sino promediada sobre los posibles valores de $\Lambda$ ponderados por sus probabilidades). Volveré dentro de un rato y veremos qué forma de hacerlo es más onerosa.

PPS: Ahora encontremos esa probabilidad marginal: \begin{align} & \Pr(X=x) = \mathbb E(\Pr(X=x\mid\Lambda)) = \mathbb E\left( \frac{\Lambda^x e^{-\Lambda}}{x!} \right) \\[8pt] = {} & \int_0^\infty \frac{\lambda^x e^{-\lambda}}{x!} \frac1{\Gamma(\alpha)}\left( \frac{\lambda}{\beta} \right)^{\alpha-1} e^{-\lambda/\beta} \, \frac{d\lambda}\beta = \frac{1}{x!\Gamma(\alpha)\beta^\alpha} \int_0^\infty \lambda^{x+\alpha-1} e^{-\lambda/(\beta/(1+\beta))} \, d\lambda \\[8pt] = {} & \frac{1}{x!\Gamma(\alpha)\beta^\alpha} \cdot \left(\frac\beta{1+\beta}\right)^{x+\alpha} \int_0^\infty \left(\frac{\lambda}{\beta/(1+\beta)}\right)^{x+\alpha-1} e^{-\lambda/(\beta/(1+\beta))} \, \frac{d\lambda}{\beta/(1+\beta)} \\[8pt] = {} & \frac{1}{x!\Gamma(\alpha)\beta^\alpha} \cdot \left(\frac\beta{1+\beta}\right)^{x+\alpha} \int_0^\infty \mu^{x+\alpha-1} e^{-\mu}\,d\mu \\[8pt] = {} & \frac{1}{x!\Gamma(\alpha)\beta^\alpha} \cdot \left(\frac\beta{1+\beta}\right)^{x+\alpha} \cdot \Gamma(x+\alpha) \\[8pt] = {} & \frac{\beta^x \alpha(1+\alpha)(2+\alpha)\cdots(x-1+\alpha)}{x!(1+\beta)^{x+\alpha}} = \binom{x+\alpha-1}{x} \frac{\beta^x}{(1+\beta)^{x+\alpha}}. \end{align} Existe la probabilidad de la prueba, que es el denominador de la fracción.

(Por tanto, la distribución marginal de $X$ es una distribución binomial negativa).

Answer 2

Si se trata de una probabilidad posterior verdadera, entonces siempre debe estar acotada entre $0$ y $1$ .

Además, su fórmula no es realmente una fórmula, sino un marco conceptual. La fórmula real es instructiva:

$$P(B\mid A)=\frac{P(B)P(A\mid B)}{P(A)}=\frac{P(A\cap B)}{P(A)}$$

A partir de los axiomas de la probabilidad, sabemos que $\lim\limits_{P(B)\rightarrow 0} P(A\cap B) = 0$ y $$\lim_{P(B)\rightarrow 1} P(A\cap B) = P(A)\implies 0\leq \lim\limits_{P(B)\rightarrow 0} \frac{P(A\cap B)}{P(B)}\leq 1$$

Por lo tanto, siempre debe estar entre 0 y 1. Esto no es cierto si usted está buscando en la posterior probabilidad donde se utilizan las densidades en lugar de las medidas de probabilidad.