¿Cuál es el error estándar residual?

Question

Cuando se ejecuta un modelo de regresión múltiple en R, una de las salidas es un error estándar residual de 0.0589 en 95,161 grados de libertad. Sé que los 95,161 grados de libertad son dados por la diferencia entre el número de observaciones en mi muestra y el número de variables en mi modelo. ¿Cuál es el error estándar residual?

Answer 1

Digamos que tenemos la siguiente tabla ANOVA (adaptada del comando example(aov) de R):

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57               

Si divides la suma de cuadrados de cualquier fuente de variación (modelo o residuos) por sus respectivos grados de libertad, obtienes el cuadrado medio. Particularmente para los residuos:

$$ \frac{306.3}{4} = 76.575 \approx 76.57 $$

Entonces 76.57 es el cuadrado medio de los residuos, es decir, la cantidad de variación residual (después de aplicar el modelo) en tu variable de respuesta.

El error estándar residual del que has preguntado no es más que la raíz cuadrada positiva del error cuadrático medio. En mi ejemplo, el error estándar residual sería igual a $\sqrt{76.57}$, o aproximadamente 8.75. R mostraría esta información como "8.75 en 4 grados de libertad".

Answer 2

Un modelo de regresión ajustado utiliza los parámetros para generar predicciones de punto estimado que son las medias de las respuestas observadas si replicaras el estudio con los mismos valores de $X$ un número infinito de veces (y cuando el modelo lineal es verdadero). La diferencia entre estos valores predichos y los usados para ajustar el modelo se llaman "residuos", los cuales, al replicar el proceso de recolección de datos, tienen propiedades de variables aleatorias con una media de 0.

Posteriormente, los residuos observados se utilizan para estimar la variabilidad en estos valores y estimar la distribución de muestreo de los parámetros. Cuando el error estándar residual es exactamente 0, entonces el modelo ajusta los datos perfectamente (probablemente debido al sobreajuste). Si no se puede demostrar que el error estándar residual es significativamente diferente de la variabilidad en la respuesta incondicional, entonces hay poca evidencia para sugerir que el modelo lineal tiene alguna capacidad predictiva.

Answer 3

Normalmente tendrás un modelo de regresión que se ve así: $$ Y = \beta_{0} + \beta_{1}X + \epsilon $$ donde $ \epsilon $ es un término de error independiente de $ X $.

Si se conocen $ \beta_{0} $ y $ \beta_{1} $, aún no podemos predecir perfectamente Y usando X debido a $ \epsilon $. Por lo tanto, utilizamos RSE como un valor de juicio de la Desviación Estándar de $ \epsilon $.

RSE se explica bastante claramente en "Introducción al Aprendizaje Estadístico".

Answer 4

El error estándar residual es $\sqrt{MSE}$. El $MSE$ es un estimador no sesgado de $\sigma^2$, donde $\sigma^2 = Var(y|x)$.

Para hacer más clara la respuesta de @Silverfish y @Waldir Leoncio.
A continuación se muestra un resumen de todas las definiciones. Siempre me confundo con estos términos, así que los pongo aquí en lugar de hacerlo como un comentario para una mejor presentación.

Tabla Anova de RLS/Regresión Lineal Simple (DF es diferente para regresión múltiple):

Fuente

DF

Suma Cuad.

Media Cuad.

F valor

Regresión

$1$

$SSR$

$MSR = \frac{SSR}{1}$

$\frac{MSR}{MSE}$

Residual

$n - 2$

$SSE$

$MSE = \frac{SSE}{n - 2}$

Total

$n - 1$

$SST$

donde $n$ es el tamaño de la muestra de $x_i$, $SST = SSE + SSR$, $SST = S_{YY} = \sum_{i = 1}^{n}{(y_i - \bar{y})^2}$, $SSE = \sum_{i = 1}^{n}{(y_i - \hat{y_i})^2}$, $SSR = \sum_{i = 1}^{n}{(\hat{y_i} - \bar{y})^2}$.

El $SSR$ es la parte de la varianza de $y_i$ que puede ser explicada por $\hat{y_i}$, mientras más grande, mejor.

También para RLS, $se(\beta_1) = \sqrt{MSE}/\sqrt{S_{xx}}$, donde $S_{XX}$ está definido de manera similar a $S_{YY}$.

Answer 5

Tal como señalan @Amelio Vazquez-Reina y @little_monster, dado un modelo de regresión (lineal simple): $$ Y = \beta_0 + X \beta_1 + \epsilon $$ donde $\epsilon$ es un término de ruido con varianza $\sigma^2$, es decir, $Var(\epsilon) = \sigma^2$, El Error Estándar Residual ($RSE$) es una estimación de $\sigma^2$ (siendo este último habitualmente desconocido). El RSE se calcula mediante la fórmula: $$ RSE = \sqrt{\frac{RSS}{n-2}} $$ (ver ISLR, página 66), donde $RSS$ es una Suma de Cuadrados Residuales (suma de diferencias al cuadrado entre los valores reales y predichos): $$ RSS = \sum_{i=1}^{n}(y_i - \hat{y}_i) $$ La razón de $n-2$ en el denominador de $\sqrt{\frac{RSS}{n-2}}$ es que $\sqrt{\frac{RSS}{n}}$ subestimaría $\sigma^2$ - esto se debe a que la función estimada, $\hat{y}$, ha sido ajustada a los datos de manera que minimiza el RSS de los residuos, pero $\sigma^2$ se refiere a los errores (ver la diferencia entre errores y residuos). Imagina un caso extremo - si solo hay dos puntos de datos ($n=2$), solo podemos ajustar una línea - nuestro RSS será 0, pero la verdadera función generadora (la que se utilizó para generar las dos muestras) tendrá una suma no nula de errores (asumiendo $\sigma^2 \neq 0$). Entonces el $n-2$ se refiere al hecho de que solo tenemos $n-2$ grados de libertad.

Observación: En el caso general (regresión lineal múltiple con $p$ características) el $RSE$ se estimará con: $$ RSE = \sqrt{\frac{RSS}{n-p-1}} $$ (ver ISLR, página 80)