Conjugado previo para Bernoulli ruidoso

Question

Es bien sabido que la distribución Beta sirve como prior conjugado para la distribución de Bernoulli, y que cuando se observa una variable aleatoria de Bernoulli, solo necesitas incrementar el hiperparámetro adecuado de la distribución Beta.

Sin embargo, cuando la distribución de Bernoulli es "ruidosa" en el sentido de que no observas directamente la variable aleatoria de Bernoulli, sino que en su lugar observas una variable aleatoria que es igual a la variable aleatoria de Bernoulli con probabilidad 1-p y volteada con probabilidad p, donde p es conocido, y representa una tasa de error en la observación de la variable aleatoria de Bernoulli, la distribución posterior obtenida es una combinación lineal de dos distribuciones Beta.

En el caso en que p=0, p=.5, y p=1, la distribución posterior es nuevamente Beta, pero para otros valores de p, esto no es cierto.

En mi aplicación particular, la manejabilidad analítica es importante. ¿Hay un prior conjugado que sería apropiado para este tipo de problema?

De no ser así, parece que podría haber una forma sensata de actualizar los hiperparámetros de la distribución Beta de manera aproximada. Intuitivamente, cuando observas una variable aleatoria de Bernoulli con tasa de error p, la información que tienes sobre el parámetro theta de la distribución de Bernoulli es nula cuando p=.5 (las observaciones son completamente irrelevante) y máxima cuando p=0 o p=1, y en algún punto intermedio para otros valores de p. Más específicamente, en el caso en que p=1 o p=0, la suma de los hiperparámetros de la beta en la distribución posterior es 1 mayor que la suma en el prior, y para p=.5, la suma de los hiperparámetros permanece igual. Para otros valores de p, el cambio en la suma de los hiperparámetros debería ser intermedio, pero no estoy seguro de cómo elegirlos de la mejor manera.

Answer 1

No estoy seguro de cuánto ayudará esto, pero yo lo abordaría de esta manera: es bastante flojo e informal...

Si $\alpha$ es la probabilidad del ensayo original ($x \in \{1,0\}$), y $\beta$ es la probabilidad de voltear (definiendo $p(y|x)$) entonces

$$p(y=0; \alpha, \beta) = 1-\alpha-\beta+2\alpha\beta = \gamma$$ $$p(y=1; \alpha, \beta) = \alpha+\beta-2\alpha\beta = 1-\gamma$$

La prior de Jeffreys es

$$p_{Jeff}(\alpha) \propto \sqrt{ \frac{(1-2\beta)^2}{\gamma(1-\gamma)}} $$

el término $\beta$ es multiplicativo y no hace ninguna diferencia excepto en 1/2, que básicamente podemos ignorar por razones de continuidad y simplemente decir.

$$p_{Jeff}(\alpha) \propto \frac{1}{\sqrt{\gamma(1-\gamma)}}$$

Básicamente, esto es solo una distribución beta sobre $\gamma$ con parámetros 1/2 y 1/2, que actualizas con tus valores de $y$. Puedes escribir esto en términos de $\alpha$ si lo deseas.

$$p(\alpha | y^N) = \frac{ \gamma^{Y - 1/2}(1-\gamma)^{N-Y - 1/2}}{B(Y+1/2,N-Y+1/2)}$$

donde $Y$ es la cantidad de observaciones de $y=0$

Answer 2

Lo que terminé intentando es aproximar la combinación lineal de distribuciones beta que representan la distribución posterior exacta con una sola distribución beta. Específicamente, el método de aproximación que utilicé fue minimizar la entropía cruzada entre la combinación lineal de betas y la distribución beta aproximada.

Los resultados de la minimización no son en forma cerrada según lo que puedo decir, pero las funciones involucradas son bastante moderadas, por lo que no es difícil para un optimizador con gradientes, como el método BFGS disponible en el paquete de optimización de SciPy en python.

La entropía cruzada resulta ser $$ \ln B(\alpha',\beta') - (\alpha'-1)[p \psi(\alpha+1)+(1-p)\psi(\alpha)] -(\beta'-1)[p\psi(\beta)+(1-p)\psi(\beta+1)]+(\alpha'+\beta'-2)\psi(\alpha+\beta+1) $$

donde $\alpha$, $\beta$ son los parámetros de la distribución previa, $\alpha', \beta'$ son los parámetros de la distribución beta aproximada y $\psi$ es la función digamma.