Estadística bayesiana a priori uniforme binomial

Question

Supongamos que tenemos una distribución binomial donde la prioridad del parámetro es uniforme. Cómo puedo obtener la distribución posterior del parámetro?

Answer 1

Esto es muy sencillo de hacer si se utiliza una distribución a priori que sea conjugar a la función de probabilidad binomial. Se dice que un prior y una probabilidad son conjugados cuando la distribución posterior resultante es el mismo tipo de distribución que el prior. Esto significa que si se tienen datos binomiales se puede utilizar un prior beta para obtener un posterior beta. Las priorizaciones conjugadas no son necesarias para realizar la actualización bayesiana, pero facilitan mucho los cálculos, por lo que es bueno utilizarlas si se puede.

Una prioridad beta tiene dos parámetros de forma que determinan su aspecto, y se denota Beta(α, β). Tomar su prioridad para p (probabilidad de éxito) como uniforme es equivalente a utilizar una distribución Beta con ambos parámetros establecidos en 1.

Para obtener un resultado posterior, basta con utilizar la regla de Bayes:

Posterior $\propto$ Prior x Probabilidad

La posterior es proporcional a la probabilidad multiplicada por la anterior. Lo bueno de trabajar con distribuciones conjugadas es que la actualización bayesiana es tan sencilla como el álgebra básica. Tomamos la fórmula de la función de probabilidad binomial,

$Binomial Likelihood \propto p^x (1-p)^{n-x}$

donde x es el número de aciertos en n ensayos. y luego se multiplica por la fórmula de la prioridad beta con los parámetros de forma α y β,

$Beta Prior \propto p^{\alpha-1} (1-p)^{\beta-1}$

para obtener la siguiente fórmula para la posterioridad,

$Beta Posterior \propto p^x(1-p)^{n-x}p^{\alpha-1}(1-p)^{\beta-1}$

Verás que estamos multiplicando juntos términos con la misma base, lo que significa que los exponentes se pueden sumar. Así que la fórmula posterior se puede reescribir como,

$Beta Posterior \propto p^xp^{\alpha-1}(1-p)^{n-x}(1-p)^{\beta-1}$

que se simplifica a,

$Beta Posterior \propto p^{x+\alpha-1}(1-p)^{n-x+\beta-1}$

Lo que equivale a: Se toma la prior, se suman los aciertos y los fallos a los diferentes exponentes, y voilá. En otras palabras, se toma la prior, Beta(α, β), y se suman los éxitos de los datos, x, a $\alpha$ y los fallos, n - x, a $\beta$ y ahí está tu trasero, Beta. $\alpha$ +x, $\beta$ +n-x).

Cuando se empieza con una Beta(1,1) como prior, la posterior tendrá la forma exacta de la probabilidad Binomial, y la posterior se escribe Beta(1+x,1+n-x).

Gráficos

Si empiezas con tu previo uniforme, Beta(1,1), eso se ve así:

Si tiene 13 aciertos en 25 ensayos, la nueva posterior es Beta(1+13,1+12) o Beta(14,13), como se muestra a continuación:

Hay código para hacer gráficos como este y otros en mi blog, aquí .