El significado de actualización bayesiana

Question

Soy nuevo en la inferencia Bayesiana y no he encontrado la respuesta a esta:

En la vida real escenario de uso de la gente de MCMC para el cálculo de la distribución posterior dada la probabilidad y el estado. Las soluciones analíticas no son posibles. Bayesiano la gente suele decir "podemos actualizar nuestros antes de creer dado algunos datos a tener la posterior". Pero algo no está bien a mí aquí: la parte posterior, no es nunca la misma forma que el anterior, ¿verdad ? A menos que usted tenga un conjugado antes, lo cual es muy raro.

Entonces, ¿qué significa ? La previa es una distribución gamma, y que al final hasta con un posterior con una completamente diferente forma. ¿De verdad actualización de la distribución previa ? ciertamente no. No podemos comparar manzanas y naranjas.

Qué significa que hemos tenido antes de creencias con una cierta forma (distribución gamma), a continuación de la actualización de esta creencia, así que tenemos una nueva forma (ni siquiera se describe analíticamente) como la salida de la MCMC.

Estoy muy confundida con esta idea de "actualización Bayesiana", porque, en la práctica, si usted termina para arriba con un nuevo tipo de distribución para la parte posterior, usted no puede usarla como una nueva antes de que la siguiente tanda de datos, derecho ? Lo que significa que este es solo un "one shot actualización" de la anterior creencia.

A mí me parece que la actualización Bayesiana significa que la actualización de su creencia en el sentido de cambiar la distribución previa a algo más. Es como decir: "he cambiado mi mente, no se trata de una distribución gamma".

Por otra parte, cuando yo siga algunas conferencias, ellos nunca dicen que. Hablan de Bayesiana de actualización relacionados con el uso de conjugar antes. En este caso, las matemáticas son agradables, así que la parte posterior se puede utilizar como antes. Pero esto nunca sucede en la vida real, ¿verdad ? Quiero decir, no se utiliza MCMC si usted sabe que la parte posterior va a ser de la misma familia que el anterior ?

Answer 1

Pierrot la respuesta es correcta, pero como esta parece ser una pregunta acerca de la intuición, quería darle lo que podría ser un enfoque más intuitivo para pensar acerca de la cuestión.

I (+1)'d esta pregunta porque es de una manera perspicaz; usted está tomando en serio que usted necesita para entender lo que es un método que realmente significa. Sin embargo, cuando usted toma una vista de nivel superior el significado detrás de la MCMC método, también es necesario tomar una vista de nivel superior a lo que significa la actualización de la anterior. Si su anterior creencia puede ser descrito como una distribución gamma y su posterior creencia no puede, sin duda, han actualizado sus creencias anteriores, y esto no traiga problemas de "compar[ing] manzanas y naranjas" (con respecto a decir si o no has actualizado tu antes). Si asigna una probabilidad diferente para diferentes eventos en su posterior creencia de que las probabilidades de que usted asigna en su anterior creencia, ha actualizado sus creencias, y esto no tiene nada que ver con si su previo y posterior son el mismo tipo de distribución de probabilidad sólo con parámetros diferentes, o son representados por diferentes tipos de distribución en su totalidad.

En otras palabras, un Bayesiano de actualización, no requieren de la distribución posterior de la misma forma que la anterior. Este hecho no significa que sólo un "one-shot" actualización es posible.

Permítanme darles un ejemplo sencillo. Supongamos que antes de su creencia es que es igual de probable que en cualquier día en particular que va a llover (llame a este evento $B$) que los que no. A continuación, la previa es una distribución uniforme discreta la asignación de probabilidad de $0.5$ a $B$ e $0.5$ a $\neg B$. Sin embargo, suponga que tiene también observar que en el mes de abril (llame a este evento $A$) y sabe que la probabilidad de que un día es en abril de es $\frac{1}{12}$ y que la probabilidad conjunta de que va a llover en un día y que el día es un día de abril es $\frac{3}{48}$. Entonces

$$ \Pr(B|A) = \frac{\Pr(A \cap B)}{\Pr(A)} = \frac{3/48}{1/12} = 0.75 $$

Ahora su posterior creencia asigna probabilidad de $0.75$ a $B$ e $0.25$ a $\neg B$, que no es una distribución uniforme, aún así, podemos válidamente llamar a esto una actualización Bayesiana. Por otra parte, esto no tiene que ser un one-shot de actualización, debido a que usted podría fácilmente además de actualizar su creencia acerca de la $B$ si, por ejemplo, se observó que las nubes negras en el cielo, etc.

Esta respuesta no abordar otra cuestión que puede estar al acecho dentro de la pregunta que usted le preguntó -- ¿cómo utilizar la parte posterior de la aproximación de MCMC como antes en otra actualización. Tal vez Pierrot la respuesta que puede dar una idea de ahí.

Answer 2

Posteriores y de los priores son todas las distribuciones en el espacio de parámetros, por lo que puede ser comparado como tal, incluso si no son de la misma forma. Si usted está interesado en la realización de varias actualizaciones, es decir, para ir de una posterior p(theta|Y1) a un segundo posterior p(theta|Y1,Y2), etc, entonces usted puede absolutamente el uso de p(theta|Y1) como antes, y p(Y2|Y1,theta) como una probabilidad. De hecho, algunos métodos llamados secuenciales de Monte Carlo puede ser utilizada de forma recursiva aproximado de una secuencia de tales posteriores, véase, por ejemplo, Chopin 2002, Un secuencial filtro de partículas método para modelos estáticos , https://academic.oup.com/biomet/article-abstract/89/3/539/251804?redirectedFrom=PDF