MLE de $β$ por qué es necesario que $n ≥ m$ .

Question

Dejemos que $X \in \mathbb{R}^{n×m}$ sea una matriz tal que $n \ge m$ . Sea $y \in \mathbb{R}^n$ sea un vector tal que $y \sim N (X, ^2I)$ . Recordemos que en las clases se ha dicho que la MLE de $\beta$ viene dada por $\hat\beta = (X^TX)^{1}X^TY$

(a) Explique por qué es necesario que $n \ge m$ . Tengo problemas para explicar esto, cualquier ayuda sería apreciada

Answer 1

No se ajusta una línea con un solo punto de datos ni un plano con sólo dos. El ajuste de un plano cuando se tienen sólo dos puntos de datos es la situación en la que $n=2$ y $m=3$ y tienes $$ X\beta + (2\times 1\text{ error vector}) = \begin{bmatrix} 1 & x_1 & y_2 \\ 1 & x_2 & y_2 \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \end{bmatrix} + (2\times 1\text{ error vector}) = \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} = Y. $$ Hay más de un vector $\beta$ que encaja perfectamente, ya que un plano que pasa por dos puntos puede girar alrededor de un eje que es la línea que pasa por esos dos puntos. El vector $Y$ puede escribirse de más de una manera como una combinación lineal de las columnas de $X$ .

La matriz $X^TX$ en tal caso es un $3\times3$ matriz de rango $2$ , por lo que no se puede invertir.