¿Una estimación basada en la cuadrática (no necesariamente MSE) generará siempre unos residuos simétricos después de entrenarla?

Question

Estas son las distribuciones empíricas del error para XGB, RF y kNN, este último se ha tomado en otro conjunto de datos.

Ninguno de ellos se distribuye normalmente, pero todos son simétricos. Ninguno de los algoritmos utilizados ha utilizado el MSE óptimo, por ejemplo, tanto XGB como RF utilizan un enfoque codicioso debido a que se basan en el árbol de decisión y kNN utiliza la distancia euclídea, que no tiene nada que ver con el MSE porque ni siquiera es una estimación basada en el error; supongo que esto se debe a que los métodos basados en la cuadrática ignoran la señal de error, pero no puedo relacionarlo con la simetría en el sentido de la densidad de probabilidad.

Answer 1

NO

Como contraejemplo, ajuste una regresión MCO con un término de error exponencial.

$$ Y=X\beta+\epsilon\\ \epsilon_i\overset{iid}{\sim}exp(1) $$

Cuando realice el ajuste MCO, que utiliza pérdidas cuadráticas, obtendrá residuos asimétricos.

(Hay un problema molesto en el que $exp(1)$ tiene una media de $1$ en lugar de $0$ . Puede resolver esto si hace una simulación en software como R restando $1$ de cada valor de error. No se trata de una distribución exponencial, sino de una exponencial desplazada, pero los residuos asimétricos estarán presentes).

He aquí una simulación que demuestra mi contraejemplo.

set.seed(2021)
N <- 1000
x <- seq(0, 10, 10/(N - 1))
e <- rexp(N, 1) - 1 # subtract 1 so E(e) = 0
y <- x + e
plot(x, y)
L <- lm(y ~ x)
hist(resid(L))
plot(L)

El histograma de los residuos y los dos primeros gráficos del modelo L muestran la marcada asimetría de los residuos.