¿Cuál es la diferencia entre la varianza y el error medio al cuadrado?

Question

Me sorprende que esto no se haya preguntado antes, pero no encuentro la pregunta en stats.stackexchange.

Esta es la fórmula para calcular la varianza de una muestra con distribución normal:

$$\frac{\sum(X - \bar{X}) ^2}{n-1}$$

Esta es la fórmula para calcular el error cuadrático medio de las observaciones en una regresión lineal simple:

$$\frac{\sum(y_i - \hat{y}_i) ^2}{n-2}$$

¿Cuál es la diferencia entre estas dos fórmulas? La única diferencia que veo es que MSE utiliza $n-2$ . Entonces, si esa es la única diferencia, ¿por qué no referirse a ellas como la varianza de ambos, pero con diferentes grados de libertad?

Answer 1

El error cuadrático medio tal y como lo has escrito para OLS esconde algo:

$$\frac{\sum_{i}^{n}(y_i - \hat{y}_i) ^2}{n-2} = \frac{\sum_{i}^{n}\left[y_i - \left(\hat{\beta}_{0} + \hat{\beta}_{x}x_{i}\right)\right] ^2}{n-2}$$

Obsérvese que el numerador suma sobre una función de ambos $y$ y $x$ por lo que se pierde un grado de libertad para cada variable (o para cada parámetro estimado que explique una variable en función de la otra si se prefiere), por lo que $n-2$ . En la fórmula de la varianza de la muestra, el numerador es una función de una sola variable, por lo que sólo se pierde un grado de libertad en el denominador.

Sin embargo, estás en el buen camino al notar que son cantidades conceptualmente similares. La varianza de la muestra mide la dispersión de los datos en torno a la media de la muestra (en unidades al cuadrado), mientras que el MSE mide la dispersión vertical de los datos en torno a la línea de regresión de la muestra (en unidades verticales al cuadrado).

Answer 2

En la fórmula de la varianza, la media de la muestra se aproxima a la media de la población. La media muestral se calcula para una muestra determinada con $n$ puntos de datos. Conocer la media muestral nos deja sólo $n-1$ puntos de datos independientes como el $n$ th punto de datos está limitado por la media de la muestra, por lo que ( $n-1$ ) grados de libertad (DOF) en el denominador de la fórmula de la varianza.

Para obtener el valor estimado de y ( $= \beta_{0} + \beta_{1}\times x$ ) en la fórmula del MSE, necesitamos estimar tanto $\beta_{0}$ (es decir, el intercepto) así como $\beta_{1}$ (es decir, la inclinación) por lo que perdemos 2 DOF, y por lo tanto esa es la razón de ( $n-2$ ) en el denominador de la fórmula del MSE.