¿Qué debería informativo antes de ser la pendiente cuando se realiza la regresión lineal?

Question

Al realizar bayesiano de regresión lineal, se debe asignar un previo para la pendiente $a$ e interceptar $b$. Desde $b$ es un parámetro de localización tiene sentido asignar un uniforme antes; sin embargo, me parece que $a$ es similar a la de un parámetro de escala y parece antinatural para asignar un uniforme antes.

Por otro lado, no me parece correcto para asignar la costumbre de valor informativo Jeffrey antes de ($1/a$) para una pendiente de una regresión lineal. Para uno, puede ser negativo. Pero no veo qué otra cosa podría ser.

Entonces, ¿qué es la "correcta" de poca información previa para la pendiente de una bayesiano de regresión lineal? (Las referencias se agradece.)

Answer 1

Desde Bayesiano de Análisis de Datos de la 3ª ed., p. 355:

El estándar noninformative antes de la distribución

En la normal modelo de regresión, una conveniente noninformative antes de la distribución es uniforme en $(\beta, \log \sigma)$ o, de manera equivalente, $$p(\beta,\sigma^2|X) \propto\sigma^{-2}$$

($X$ en referencia a los regresores.) El libro contiene útil la discusión más allá del alcance de esta pregunta: Cuando este estado es útil, cuando los demás se adaptan mejor, su parte posterior, y la comparación clásica de las estimaciones.

Answer 2

Bayesians normalmente elegir priores que hacen sus matemáticamente difícil vidas más fáciles de sobrellevar. Esto significa Gaussiano priores, a menos que el modelo absolutamente lo prohíbe. Recuerde que usted necesita un bivariante antes en su situación, ya que al modelo de la correlación entre la pendiente y la ubicación, así como sus comportamientos marginales. La normal multivariante es su boleto.

Una Gaussiana antes en los parámetros de mallas muy bien con el (sin duda) de Gauss error de medición que su modelo de regresión ya tiene.

Por cierto, yo no asociado pendientes con la escala de parámetros, ya que las pendientes pueden ser negativos y escala de parámetros no.

Ahora la distribución de gauss no es un informativo previo, pero si usted realmente tiene ninguna información previa, tal vez debería ir frecuentista. O el uso de una Gaussiana con una gran varianza.

No sé de un moderno referencia a la inferencia Bayesiana. En el riesgo de usar un bazooka para matar un conejo, usted podría buscar Rasmussen y Williams, que está disponible en línea. La sección primera del capítulo 2 se va a través de regresión Bayesiana en algunos detalles.