Actualmente estoy leyendo el siguiente artículo que formula la regresión lineal ponderada en un entorno bayesiano. En la regresión lineal ponderada clásica, minimizamos lo siguiente:
$$ \sum_{i=1}^{N} w_i (\beta^Tx_i - y_i) $$
En este trabajo, tratan de tener una formulación bayesiana del WLS. Así, realiza las siguientes elecciones de modelización sobre las distribuciones de probabilidad de las variables aleatorias:
$$ y_i \sim N(\beta^tx_i, \sigma^2/w_i) $$
Así, aquí estamos modelando cada una de las $y_i$ para tener una varianza que pueda ser ponderada por su peso individual. Hay una prioridad normal también sobre los parámetros de regresión $\beta$ .
$$ \beta \sim N(\beta_0, \Sigma_{\beta, 0}) $$
Hay una prioridad Gamma sobre los pesos $w_i$ .
$$ w_i \sim Gamma(a_i, b_i) $$
Ahora, mi pregunta es que el problema de regresión es básicamente:
$$ y_i = \beta^T x_i + \epsilon_i $$
Mi pregunta es por qué no hay un previo en $\epsilon$ ? En este documento, estiman $\sigma^2$ a través de alguna fórmula de regresión estándar (pido disculpas porque aún no he ido muy lejos para derivarla). Sin embargo, me parece que $\sigma^2$ también es un parámetro desconocido en el modelo y si seguimos la modelización estadística bayesiana, deberíamos especificar una prioridad para él.
Si alguien tiene curiosidad, el documento está aquí:
