Formulación de la máxima verosimilitud para la regresión lineal

Question

He visto el siguiente para la estimación de máxima verosimilitud (MLE) para la regresión lineal en múltiples fuentes, por ejemplo, aquí:

$$ \mathcal{D} \equiv \{(x_1, y_1), ..., (x_n, y_n)\} $$

No entiendo, ¿cómo es exactamente que se derivan de este:

$$ p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i | x_i, \theta) $$

Entiendo que se puede escribir el producto debido a la assumtion de independiente $y_i$. Sin embargo, no comprendo por qué se $x_i$ es de repente en el lado derecho. No debería ser:

$$ p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i , x_i | \theta) $$

Answer 1

De los mínimos cuadrados ordinarios de regresión el objetivo es modelar la condición de expectativa; $$ E[y_i|x_i] = x_i'\beta $$

$y_i$ $x_i$ se refiere a como la dependiente y la independiente las variables, respectivamente, debido a que son, literalmente, acondicionamiento $y_i$$x_i$.

Mínimos cuadrados ordinarios es equivalente a la de máxima verosimilitud, donde asumimos; $$ y_i|x_i \stackrel{iid}{\sim} N(x_i'\beta\sigma^2) $$ En este caso el $x_i$ son tomados como valores fijos (no estamos llamando a $x_i$ una variable aleatoria y que le da una distribución de probabilidad) lo que significa que los "datos", $\mathcal{D}$, es solamente el conjunto de $y_i$'s $$\mathcal{D} \equiv \{y_1,..,y_n\}$$

Así que la escritura $$ p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i | x_i, \theta) $$

donde $\theta \equiv \{\beta,\sigma\}$ es realmente correcto.

La probabilidad de $p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i , x_i | \theta)=\prod_{i=1}^n p_y(y_i | x_i, \theta)p_x(x_i|\theta)$ ,por otro lado, se trata de la $x_i$ como variables aleatorias que, aunque aplicable en algunos ajustes, no es la regresión lineal en el sentido tradicional.