¿Cuál es la diferencia entre "coeficiente de determinación" y "error cuadrático medio"?

Question

Para los problemas de regresión, he visto que la gente utiliza el "coeficiente de determinación" (también conocido como R al cuadrado) para realizar la selección del modelo, por ejemplo, para encontrar el coeficiente de penalización adecuado para la regularización.

Sin embargo, también es habitual utilizar el "error medio cuadrático" o el "error medio cuadrático" como medida de la precisión de la regresión.

¿Cuál es la principal diferencia entre estos dos? ¿Podrían utilizarse indistintamente para tareas de "regularización" y "regresión"? ¿Y cuáles son los principales usos de cada uno en la práctica, como en el aprendizaje automático o en las tareas de minería de datos?

Answer 1

$R^2=1-\frac{SSE}{SST}$ , donde $SSE$ es la suma del error cuadrático (residuos o desviaciones de la línea de regresión) y $SST$ es la suma de las desviaciones al cuadrado del dependiente $Y$ medio.

$MSE=\frac{SSE}{n-m}$ , donde $n$ es el tamaño de la muestra y $m$ es el número de parámetros del modelo (incluido el intercepto, si lo hay).

$R^2$ es una medida estandarizada del grado de predicción, o ajuste, en la muestra. $MSE$ es la estimación de la varianza de los residuos, o del no ajuste, en la población. Las dos medidas están claramente relacionadas, como se ve en la fórmula más habitual para ajustado $R^2$ (la estimación de $R^2$ para la población):

$R_{adj}^2=1-(1-R^2)\frac{n-1}{n-m}=1-\frac{SSE/(n-m)}{SST/(n-1)}=1-\frac{MSE}{\sigma_y^2}$ .