Gamma vaga antes?

Question

Estoy viendo un algoritmo de MCMC donde el autor toma una distribución previa de Gamma (forma = 0,001, tasa = 0,001), a la que se refieren como un previo vago. A pesar de toda mi búsqueda, estoy luchando para ver cómo esto es vago. La densidad parece distribuir la probabilidad casi uniformemente cuando te alejas de 0, pero la abrumadora cantidad de probabilidad se ubica alrededor de 0.

¿Alguien entiende por qué esto se considera vago, en lugar de casi constante en 0?

Answer 1

Estoy suponiendo que el autor es el uso de la distribución gamma como un conjugado previo para una distribución de Poisson. La distribución de $\Gamma(\alpha=0.001,\beta=0.001)$ tiene de hecho la mayoría de su masa muy cercano a 0, pero también tiene una impresionante cola, por lo que su media es $1$. Esta observación, sin embargo, no está relacionado a su vaguedad. Es vaga en el sentido de que tan pronto como usted actualización se basa en su primera observación empírica, la distribución posterior diré que cualquier punto de datos observados es muy típica. Dicho de otra manera, refleja una creencia que está muy débilmente a cabo y fácilmente moldeado por la exposición a la nueva información.

Digamos que usted está tratando de estimar el número promedio de llamadas que entran en un centro de llamadas por hora, modelada como una distribución de Poisson con tasa de $\lambda$. $\Gamma(\alpha=0.001,\beta=0.001)$ reflexiona antes de su creencia sobre el valor de $\lambda$. En su primera hora de la observación, $50$ entran las llamadas, por lo que realizar una actualización Bayesiana y derivan $\Gamma(\alpha=50.001, \beta=1.001)$ como su parte posterior. Esta distribución posterior tiene una media de $\frac{50.001}{1.001} \approx 50$. Por lo tanto, ahora que usted tiene datos reales, se ha casi completamente se botan sus viejos prejuicios y actualiza tus creencias para que coincida con sus observaciones empíricas.

Es muy común el uso de $\Gamma(\alpha=0,\beta=0)$ como antes. Que la distribución no tiene sentido matemático: su PDF contiene el término $0^0$ e independientemente de si usted decide que $0^0=0$ o $0^0=1$, el área total bajo la curva de distribución que va a salir a $0$ o $\infty$ respectivamente: no $1$. Sin embargo, eso no nos impide usarlo como antes: vamos a obtener una sensible posterior tan pronto como podemos observar nuestro primer punto de datos. Un previo de este tipo se llama una inadecuada antes. Algunos autores utilizan $improper$ $vague$ indistintamente.

Answer 2

Gamma priores también puede ser utilizado para el conjugado antes de la precisión (inverso de la varianza) como sería el caso en un estándar Bayesiano de modelos de regresión. En este caso este estado sería considerado vago de que usted tiene un razonable número de parámetros/observaciones de que la varianza de los parámetros gobierna (más de 8 es suficiente para que esta antes de ser vagos). Este suele ser el error del modelo, como la variación del parámetro de regir el error de $N$ observaciones, donde $N$ suele ser lo suficientemente grande para el antes de ser efectivamente vaga. En este caso los parámetros de la condicional distribución Gamma no son realmente efectuada por la adición de 0.001, ya que será bastante grande ya

Sin embargo tienes razón en el sentido de que este estado no es completamente vaga y esto es algo que se nota más que en otras situaciones. Tome un modelo de efectos mixtos donde ha $J$ grupos y los niveles están regidas por una variación de parámetros. En este caso, $J$ no es necesario grandes y por lo tanto los parámetros de la condicional distribución Gamma son igualmente pequeñas. Estos son por lo tanto afectado por la gran masa en $0$ y la adición de 0.001 a cada uno de los parámetros de la distribución condicional.

Sin embargo esto no es realmente un problema si usted hace la distribución Gamma hyperparameters lo suficientemente pequeño. Sin embargo, es un problema de que su trasero es ahora efectuada por la masa en $0$. En este caso no se convierte en una tendencia para el posterior a algunos lo que coincide con la anterior. Hay varias soluciones a este que son discutidos por Gelman (2006). Él también hace un trabajo mucho mejor de lo que me de describir el problema y la solución. Si usted quiere saber más acerca de este problema, a continuación, sugiero la lectura de este documento. En la práctica, sin embargo muchos de los estadísticos se siguen utilizando estos priores, porque a menos que hay un número reducido de parámetros/observaciones de que la varianza de los parámetros gobierna, entonces la elección de este estado de no afectará a los resultados notablemente