R - Confundido en la terminología residual

Question

• Error cuadrático medio
• suma residual de cuadrados
• error estándar residual
• error medio cuadrático
• error de prueba

Creía que entendía estos términos, pero cuanto más hago problemas estadísticos, más me confundo y más me equivoco. Me gustaría que me aseguraran y me dieran un ejemplo concreto.

Puedo encontrar las ecuaciones con bastante facilidad en internet, pero me está costando conseguir una explicación de estos términos como si tuviera 5 años para poder cristalizar en mi cabeza las diferencias y cómo una lleva a la otra.

Si alguien puede tomar este código de abajo y señalar cómo calcularía cada uno de estos términos se lo agradecería. El código R sería genial..

Utilizando este ejemplo de abajo:

summary(lm(mpg~hp, data=mtcars))

Muéstrame en código R cómo encontrar:

rmse = ____
rss = ____
residual_standard_error = ______  # i know its there but need understanding
mean_squared_error = _______
test_error = ________

Puntos de bonificación por explicar como si fuera 5 las diferencias/similitudes entre estos. ejemplo:

rmse = squareroot(mss)

Answer 1

Como se ha pedido, lo ilustro con una simple regresión utilizando el mtcars datos:

fit <- lm(mpg~hp, data=mtcars)
summary(fit)

Call:
lm(formula = mpg ~ hp, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.7121 -2.1122 -0.8854  1.5819  8.2360 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 30.09886    1.63392  18.421  < 2e-16 ***
hp          -0.06823    0.01012  -6.742 1.79e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.863 on 30 degrees of freedom
Multiple R-squared:  0.6024,    Adjusted R-squared:  0.5892 
F-statistic: 45.46 on 1 and 30 DF,  p-value: 1.788e-07

El error medio cuadrático (MSE) es la media del cuadrado de los residuos:

# Mean squared error
mse <- mean(residuals(fit)^2)
mse
[1] 13.98982

Error medio cuadrático (RMSE) es entonces la raíz cuadrada del MSE:

# Root mean squared error
rmse <- sqrt(mse)
rmse
[1] 3.740297

Suma residual de cuadrados (RSS) es la suma de los residuos al cuadrado:

# Residual sum of squares
rss <- sum(residuals(fit)^2)
rss
[1] 447.6743

Error estándar residual (RSE) es la raíz cuadrada de (RSS / grados de libertad):

# Residual standard error
rse <- sqrt( sum(residuals(fit)^2) / fit$df.residual ) 
rse
[1] 3.862962

El mismo cálculo, simplificado porque hemos calculado previamente rss :

sqrt(rss / fit$df.residual)
[1] 3.862962

---

El término error de prueba en el contexto de la regresión (y otras técnicas de análisis predictivo) suele referirse al cálculo de una estadística de prueba sobre datos de prueba, distintos de los datos de entrenamiento.

En otras palabras, se estima un modelo utilizando una parte de los datos (a menudo una muestra del 80%) y luego se calcula el error utilizando la muestra retenida. Una vez más, lo ilustro utilizando mtcars Esta vez con una muestra del 80%.

set.seed(42)
train <- sample.int(nrow(mtcars), 26)
train
 [1] 30 32  9 25 18 15 20  4 16 17 11 24 19  5 31 21 23  2  7  8 22 27 10 28  1 29

Estimar el modelo y luego predecir con los datos retenidos:

fit <- lm(mpg~hp, data=mtcars[train, ])
pred <- predict(fit, newdata=mtcars[-train, ])
pred
 Datsun 710     Valiant  Merc 450SE  Merc 450SL Merc 450SLC   Fiat X1-9 
   24.08103    23.26331    18.15257    18.15257    18.15257    25.92090 

Combinar los datos originales y la predicción en un marco de datos

test <- data.frame(actual=mtcars$mpg[-train], pred)
    test$error <- with(test, pred-actual)
test
            actual     pred      error
Datsun 710    22.8 24.08103  1.2810309
Valiant       18.1 23.26331  5.1633124
Merc 450SE    16.4 18.15257  1.7525717
Merc 450SL    17.3 18.15257  0.8525717
Merc 450SLC   15.2 18.15257  2.9525717
Fiat X1-9     27.3 25.92090 -1.3791024

Ahora calcule sus estadísticas de prueba de la manera normal. Ilustro el MSE y el RMSE:

test.mse <- with(test, mean(error^2))
test.mse
[1] 7.119804

test.rmse <- sqrt(test.mse)
test.rmse
[1] 2.668296

---

Tenga en cuenta que esta respuesta ignora la ponderación de las observaciones.

Answer 2

El cartel original pedía una respuesta "explica como si tuviera 5 años". Supongamos que tu profesor del colegio te invita a ti y a tus compañeros a ayudar a adivinar el ancho de la mesa del profesor. Cada uno de los 20 alumnos de la clase puede elegir un dispositivo (regla, escala, cinta o vara de medir) y se le permite medir la mesa 10 veces. Se les pide a todos que utilicen diferentes puntos de partida en el dispositivo para evitar leer el mismo número una y otra vez; la lectura inicial tiene que restarse de la lectura final para obtener finalmente una medida de anchura (hace poco aprendiste a hacer ese tipo de matemáticas).

En total, la clase realizó 200 mediciones de anchura (20 alumnos, 10 mediciones cada uno). Las observaciones se entregan al profesor, que se encargará de hacer los números. Si se restan las observaciones de cada alumno a un valor de referencia, se obtendrán otros 200 números, denominados desviaciones . El profesor promedia la muestra de cada alumno por separado, obteniendo 20 significa . Si se restan las observaciones de cada alumno a su media individual, se obtendrán 200 desviaciones de la media, denominadas residuos . Si el residuo medio se calculara para cada muestra, te darías cuenta de que siempre es cero. Si en cambio elevamos al cuadrado cada residuo, lo promediamos y finalmente deshacemos el cuadrado, obtenemos el desviación estándar . (Por cierto, a este último bit de cálculo lo llamamos raíz cuadrada (piense en hallar la base o el lado de un cuadrado dado), por lo que la operación completa suele llamarse raíz cuadrada media para abreviar; la desviación estándar de las observaciones es igual a la raíz cuadrada media de los residuos).

Pero el profesor ya conocía la verdadera anchura de la mesa, basándose en cómo fue diseñada y construida y comprobada en la fábrica. Así que otros 200 números, llamados errores puede calcularse como la desviación de las observaciones con respecto a la anchura real. A error medio puede calcularse para cada muestra de estudiantes. Asimismo, el 20 desviación estándar del error o error estándar se puede calcular para las observaciones. Más 20 error cuadrático medio también se pueden calcular los valores. Los tres conjuntos de 20 valores están relacionados como sqrt(me^2 + se^2) = rmse, en orden de aparición. Basándose en el rmse, el profesor puede juzgar qué alumno ha proporcionado la mejor estimación de la anchura de la tabla. Además, observando por separado los 20 errores medios y los 20 valores de error estándar, el profesor puede indicar a cada alumno cómo mejorar sus lecturas.

Como comprobación, el profesor restó cada error de su respectivo error medio, dando como resultado otros 200 números, que llamaremos errores residuales (eso no se hace a menudo). Como en el caso anterior, error residual medio es cero, por lo que el desviación estándar de los errores residuales o error residual estándar es el mismo que el error estándar y, de hecho, también lo es el error residual de la raíz cuadrada También. (Véase más abajo para más detalles).

Ahora hay algo de interés para el profesor. Podemos comparar la media de cada alumno con la del resto de la clase (20 medias en total). Al igual que definimos antes estos valores de puntos:

• m: media (de las observaciones),
• s: desviación estándar (de las observaciones)
• me: error medio (de las observaciones)
• se: error estándar (de las observaciones)
• rmse: error cuadrático medio (de las observaciones)

también podemos definir ahora:

• mm: media de las medias
• sm: desviación estándar de la media
• mem: error medio de la media
• sem: error estándar de la media
• rmsem: error cuadrático medio de la media

Sólo si se dice que la clase de estudiantes es insesgada, es decir, si mem = 0, entonces sem = sm = rmsem; es decir, el error estándar de la media, la desviación estándar de la media y el error cuadrático medio de la media pueden ser iguales siempre que el error medio de las medias sea cero.

Si sólo hubiéramos tomado una muestra, es decir, si sólo hubiera un alumno en clase, la desviación típica de las observaciones (s) podría utilizarse para estimar la desviación típica de la media (sm), como sm^2~s^2/n, donde n=10 es el tamaño de la muestra (el número de lecturas por alumno). Las dos coincidirán mejor a medida que el tamaño de la muestra crezca (n=10,11,...; más lecturas por alumno) y el número de muestras crezca (n'=20,21,...; más alumnos en clase). (Una advertencia: un "error estándar" sin calificar suele referirse al error estándar de la media, no al error estándar de las observaciones).

A continuación se detallan los cálculos correspondientes. El valor real se indica como t.

Operaciones de ajuste:

• medio: MEDIA(X)
• raíz cuadrada media: RMS(X)
• desviación estándar: SD(X) = RMS(X-MEDIA(X))

CONJUNTOS INTRAMUESTRALES:

• observaciones (dadas), X = {x_i}, i = 1, 2, ..., n=10.
• desviaciones: diferencia de un conjunto con respecto a un punto fijo.
• residuos: desviación de las observaciones respecto a su media, R=X-m.
• errores: desviación de las observaciones respecto al valor real, E=X-t.
• errores residuales: desviación de los errores respecto a su media, RE=E-MEAN(E)

PUNTOS INTRAESPECÍFICOS (véase el cuadro 1):

• m: media (de las observaciones),
• s: desviación estándar (de las observaciones)
• me: error medio (de las observaciones)
• se: error estándar de las observaciones
• rmse: error cuadrático medio (de las observaciones)

CONJUNTOS ENTRE MUESTRAS (CONJUNTOS):

• es decir, M = {m_j}, j = 1, 2, ..., n'=20.
• residuos de la media: desviación de las medias con respecto a su media, RM=M-mm.
• errores de la media: desviación de las medias de la "verdad", EM=M-t.
• errores residuales de la media: desviación de los errores de la media con respecto a su media, REM=EM-MEAN(EM)

PUNTOS INTERMEDIOS (ENSEMBLE) (ver tabla 2):

• mm: media de las medias
• sm: desviación estándar de la media
• mem: error medio de la media
• sem: error estándar (de la media)
• rmsem: error cuadrático medio de la media

Answer 3

También creo que todos los términos son muy confusos. Creo firmemente que es necesario explicar por qué tenemos tantas métricas.

Aquí está mi nota sobre SSE y RMSE:

Primera métrica: Suma de Errores Cuadrados (SSE). Otros nombres, Suma de cuadrados residuales (RSS), Suma de cuadrados residuales (SSR).

Si nos encontramos en la comunidad de la optimización, la SSE es ampliamente utilizada. Es porque es el objetivo en la optimización, donde la optimización es

$$\underset{\beta}{\text{minimize}} ~ \|X\beta-y\|^2$$

Y el término residual/error es $e=X\beta-y$ y $\|e\|^2=e^Te$ que se denomina Suma de Errores Cuadrados (SSE).

Segunda métrica: Error medio cuadrático (RMSE) . Otros nombres, desviación media de la raíz del cuadrado.

El RMSE es

$$ \|\frac 1 {\sqrt N} ({X\beta-y}) \|= \sqrt{\frac 1 N e^Te} $$

donde $N$ es el número de puntos de datos.

Esta es la razón por la que tenemos esta métrica además de la SSE de la que hablamos anteriormente. La ventaja de la métrica RMSE es que está más "normalizada". En concreto, el SSE dependerá de la cantidad de datos. El MSE no dependerá de la cantidad de datos, pero el RMSE también expresa el error en las mismas unidades que $y$ .