¿Pueden el RMSE y el MAE tener el mismo valor?

Question

Estoy implementando la validación cruzada y calculando métricas de error como el RMSE, $R^2$ , MAE, MSE, etc.

¿Pueden el RMSE y el MAE tener el mismo valor?

Answer 1

El error medio absoluto (MAE) puede ser igual al error medio cuadrático (MSE) o al error medio cuadrático (RMSE) en determinadas condiciones, que mostraré a continuación. Estas condiciones son poco probables en la práctica.

Preliminares

Dejemos que $r_i = |y_i - \hat{y}_i|$ denotan el valor absoluto del residuo para el $i$ punto de datos, y que $r = [r_i, \dots, r_n]^T$ sea un vector que contenga los residuos absolutos de todos los $n$ puntos en el conjunto de datos. Dejando que $\vec{1}$ denotan una $n \times 1$ vector de unos, el MAE, el MSE y el RMSE pueden escribirse como

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Si el MSE es igual al MAE y se reordena, se obtiene:

$$(r - \vec{1})^T r = 0 \tag{2}$$

El MSE y el MAE son iguales para todos los conjuntos de datos en los que los residuos absolutos resuelven la ecuación anterior. Dos soluciones obvias son: $r = \vec{0}$ (hay un error cero) y $r = \vec{1}$ (los residuos son todos $\pm 1$ como mencionó mkt). Pero, hay infinitas soluciones.

Podemos interpretar la ecuación $(2)$ geométricamente como sigue: El LHS es el producto punto de $r-\vec{1}$ y $r$ . El producto punto cero implica ortogonalidad. Por tanto, el MSE y el MAE son iguales si al restar 1 a cada residuo absoluto se obtiene un vector ortogonal a los residuos absolutos originales.

Además, completando el cuadrado, la ecuación $(2)$ se puede reescribir como

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Esta ecuación describe una $n$ -Esfera de dimensiones centrada en $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ con radio $\frac{1}{2} \sqrt{n}$ . El MSE y el MAE son iguales si y sólo si los residuos absolutos se encuentran en la superficie de esta hiperesfera.

RMSE

Si el RMSE es igual al MAE y se reordena, se obtiene:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

donde $I$ es la matriz de identidad. El conjunto de soluciones es el espacio nulo de $A$ es decir, el conjunto de todos los $r$ tal que $A r = \vec{0}$ . Para encontrar el espacio nulo, observe que $A$ es un $n \times n$ matriz con elementos diagonales iguales a $n-1$ y todos los demás elementos iguales a $-1$ . La declaración $A r = \vec{0}$ corresponde al sistema de ecuaciones:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

O bien, reordenando las cosas:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Es decir, cada elemento $r_i$ debe ser igual a la media de los otros elementos. La única forma de satisfacer este requisito es que todos los elementos sean iguales (este resultado también se puede obtener considerando la eigendecomposición de $A$ ). Por lo tanto, el conjunto de soluciones consiste en todos los vectores no negativos con entradas idénticas:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Por tanto, el RMSE y el MAE son iguales si y sólo si los valores absolutos de los residuos son iguales para todos los puntos de datos.

Answer 2

Sí, en teoría. El caso más sencillo que puedo imaginar es un conjunto de datos en el que todos los errores de predicción (es decir, los residuos) son exactamente $\pm$ 1. El RMSE y el MAE devolverán valores idénticos de 1. También se pueden construir otros escenarios, pero ninguno parece muy probable.

EDIT: Gracias a @DilipSarwate por señalar (ampliado por @user20160 en su excelente respuesta) que este resultado es posible si y sólo si los valores absolutos de todos los errores de predicción son idénticos. No hay nada especial en el valor $\pm$ 1 en mi ejemplo, en otras palabras; cualquier otro número funcionaría en lugar de 1.