ELI5: La lógica de estimación del coeficiente de regresión de OLS

Question

Como mucha gente, yo entiendo cómo ejecutar una regresión lineal, entiendo cómo interpretar sus resultados, y entiendo sus limitaciones.

Mi comprensión de la matemática fundamentos de la regresión lineal, sin embargo, están menos desarrollados. En particular, no entiendo la lógica detrás de cómo se estiman beta mediante la siguiente fórmula:

$$ \beta = (X'X)^{-1}X'Y $$

Habría alguien de cuidado para ofrecer una interfaz intuitiva explicación de por qué/cómo funciona este proceso? Por ejemplo, cuál es la función de cada paso en la ecuación que se realiza y por qué es necesario.

Answer 1

Supongamos que tenemos un modelo de la forma:
$$X \beta= Y$$ donde X es normal en 2-D de la matriz, por su facilidad de visualización. Ahora, si la matriz de $X$ es de planta cuadrada y invertible, entonces consiguiendo $\beta$ es trivial: $$\beta= X^{-1}Y$$ Y eso sería el final de la misma.

Si este no es el caso, para obtener el $\beta$ usted tendrá que encontrar una manera "aproximada" el resultado de una matriz inversa. $X^\dagger = (X'X)^{-1}X'$ es llamado (a la izquierda)-pseudoinverse, y que tiene algunas propiedades que la hacen útil para esta aplicación.

En particular, es única, y $XX^\dagger X=X$, por lo que el tipo de obras como la inversa de la matriz sería de $(XX^{-1}X = XI = X)$. También, para una invertible y de la plaza matriz (es decir, si la matriz inversa existe), es igual a $X^{-1}$.

También se obtiene la forma de la matriz de la derecha: Si $X$ tiene orden de $n \times m$, nuestro pseudoinverse debe ser $m \times n$ por lo que podemos multiplicar $Y$. Esto se logra multiplicando $(X'X)^{-1}$, que es el cuadrado de $(m \times m)$, con X' $(m \times n)$.

Answer 2

Si usted mira de fuentes como la wikipedia, hay algunas buenas explicaciones de dónde proviene. Aquí están algunos de los núcleos de ideas:

1. OLS es el objetivo de minimizar el error de $||y-X\beta||$.

2. La norma de un vector es minimizado cuando su derivada es perpendicular al vector. (Desde que te pidió ELI5, no voy a entrar en una rigurosa formulación de los "derivados" en este contexto).

3. El error se da en términos de $y$, $X$, e $\beta$. Los dos primeros son constantes; estamos variando sólo $\beta$. Por lo tanto, la derivada puede ser tratada como $X\beta'$, así que estamos buscando a$(X\beta')^T(y-X\beta)=0$. Esto es equivalente a $(\beta')^TX^Ty=(\beta')^TX^TX\beta$. Si cancelamos el $(\beta')^T$ desde ambos lados (normalmente en álgebra lineal, usted no puede ir alrededor de la cancelación de las cosas, pero no estoy apuntando para un perfecto rigor aquí, así que no voy a entrar en la justificación), nos quedamos con $X^Ty=X^TX\beta$. Ahora, $X^T$ no es invertible (no es cuadrado), por lo que no puede cancelarla, pero sí que $X^TX$ debe ser invertible (suponiendo que las funciones son linealmente independientes). Para que podamos obtener el $\beta = (X^TX)^{-1}X^Ty$.

Volviendo a $X^Ty=X^TX\beta$, cabe recordar que la $X\beta$ es el de la estimación de $\hat y$ que se calcula a partir de un determinado $\beta$. $X^Ty$ es un vector en el que cada entrada es el producto escalar de una de las características con la respuesta. Así que tenemos que $X^Ty=X^T\hat y$, es decir, para cada característica, el producto escalar entre los que cuentan y la respuesta real es igual al producto escalar entre los que cuentan y la estimación de la respuesta. $\forall i, x_i^Ty=x_i^T\hat y$. Podemos ver OLS, entonces, como la resolución de $n$ ecuaciones $x_i^Ty=x_i^T\hat y$, donde $n$ es el número de características. Así que a ver por qué esto funciona, solo tenemos que mostrar que existe una solución, y que cualquier estimación de la respuesta de otro que esta solución tendrá mayor error cuadrado.