Elección de priores en la regresión lineal bayesiana MCMC

Question

Permítanme que comience diciendo que soy un estadístico aplicado que se está formando en regresión bayesiana. Si podemos hacerlo sin letras griegas, sería estupendo.

Supongamos que estoy modelando un resultado continuo en algún predictor. Vamos a suponer una prioridad de Jeffrey para la varianza. Ahora necesito una prioridad para mi predictor y la constante. Esencialmente, lo que estoy haciendo es establecer una distribución de la que se extraerán los valores para los parámetros (los coeficientes para la constante y el predictor), ¿correcto?

Asumiendo que quiero priors informativos, mi inclinación inmediata es ir con un prior normal. Fijo la media en mi "mejor estimación" de cuál debería ser el efecto del predictor y luego fijo la varianza. Me gusta la distribución normal porque básicamente favorece los valores cercanos a mi suposición mientras que descuenta los que están lejos de ella (es decir, las colas) y los descuenta de forma simétrica. También me pregunto específicamente si puedo hacer uso de la desviación estándar para caracterizar mi confianza en mi conjetura. Un ejemplo lo ilustrará.

Entiendo que mayores varianzas significan menor peso asignado a la creencia previa. Sin embargo, tengo curiosidad por saber si puedo interpretar esto en términos de desviaciones estándar. Por ejemplo, si creo que el efecto será 5, establezco la media en 5. Digamos que tengo un 95% de confianza en que el efecto estará entre 15 y -5. Esto requeriría una desviación típica de 5, por lo que establecería la varianza en 25. ¿Es ésta la forma adecuada de describir el efecto? ¿Es ésta una forma adecuada de describir mi confianza en la probabilidad a priori?

Otro ejemplo: si tuviera la certeza absoluta de que el efecto va a estar entre -10 y 20, utilizaría un valor a priori uniforme entre -10 y 20, ¿correcto? ¿También estoy en lo cierto al suponer que todo esto es cierto independientemente de la distribución real de la variable independiente (es decir, podría ser continua o dicotómica)?

Answer 1

Básicamente, sí. Las distribuciones a priori normales son comunes y su enfoque para la selección de la s.d./varianza es perfectamente razonable. Te recomiendo que leas cualquiera de los artículos de Andrew Gelman sobre distribuciones a priori. Su libro Bayesian Data Analysis es un recurso muy bueno y accesible para (casi) todas las cosas bayesianas.

Básicamente, lo que estoy haciendo es establecer una distribución de la que se extraerán los valores de los parámetros (los coeficientes de la constante y el predictor), ¿es correcto?

En cierto sentido, sí, pero no creo que ésta sea la mejor manera de concebir los precedentes. Los priores están ahí para amortiguar/acentuar la probabilidad en ciertas regiones del espacio de parámetros, es decir, para peso la probabilidad de alguna manera.

Si elegimos priores uniformes impropios (es decir, completamente desinformativos), la distribución posterior es sólo una verosimilitud normalizada, que es muy sensible a los datos. La moda de esta distribución es la estimación que se obtendría al ejecutar cualquier procedimiento común de regresión lineal ( lm en R, por ejemplo).

Esto está bien si confiamos plenamente en nuestros datos: estamos seguros de que reflejan bastante bien la distribución de la población.

Si tenemos motivos para sospechar de los datos, tiene sentido incluir una prioridad. El efecto de esto es que si los datos resultan en mucha verosimilitud en algún valor irrazonable del parámetro, nuestra prioridad debería anularlo asignando un peso muy pequeño a ese valor; recuerde que multiplicamos la prioridad y la verosimilitud (puntualmente) para obtener la distribución posterior.

Así que en realidad no está extrayendo valores de los parámetros a partir de la probabilidad a priori, sino que está expresando una restricción sobre los valores de los parámetros que está dispuesto a aceptar como razonables mediante la ponderación de la probabilidad. Como una aproximación muy laxa, sólo estamos modificando la probabilidad antes de ejecutar lm encontrar su máximo para asegurarnos de que nuestras estimaciones no resultan irrazonables/en desacuerdo con nuestra comprensión previa del proceso.