la suma de los cuadrados en la regresión lineal múltiple

Question

Estoy buscando ayuda con la siguiente pregunta de práctica para un próximo examen:

Answer 1

Hay una prueba simple que requiere sólo álgebra lineal.

Primero note que si usted toma $ \beta = ( \beta_0 , \beta_1 ,..., \beta_ {n-1})^T$ y la matriz $X = [ \mathbb 1,x_1,x_2,...,x_{n-1}]$ donde $ \mathbb 1 = (1,1,...,1)^T$ y $x_i =(x_{i1},...,x_{i(n-1)})^T$ puedes escribir la ecuación modelo como:

$$y = X \beta + \epsilon $$

Sabes que la estimación menos cuadrada $ \hat y$ es la proyección ortogonal de $y$ sobre el espacio lineal engendrado por las columnas de $X$ . Pero si $p=n-1$ y las columnas de $X$ son linealmente independientes de lo que proyectan $y$ sobre $ \mathbb R^n$ desde $X$ tiene $n$ columnas independientes.

Cuando proyectas ortogonalmente $y \in\mathbb R^n$ sobre $ \mathbb R^n$ que se obtiene $y$ otra vez. Por esta razón tienes $ \hat y = y$ que muestra claramente que el $RSS = ||y- \hat y||^2$ es igual a cero.