Evaluación de la predicción frente a la observación - RMSE frente a la interpretación R de Pearson

Question

Estoy evaluando el error en tres modelos de validación cruzada trazando las observaciones frente a las predicciones. Para ello, comparo el RMSE (error cuadrático medio) y la R de Pearson entre las predicciones y las observaciones.

( Nota: modelos binomiales negativos, muestra n = 49 , mean = 13.33 y SD = 17.27 )

Los resultados del RMSE son 18,81, 18,97 y 17,48, respectivamente. Las R de Pearson son 0,10, 0,09 y 0,33.

¿Cómo puedo interpretar esta enorme diferencia (~70%) en los valores de correlación pero con sólo cambios menores (~10%) en el RMSE? ¿Estoy en lo cierto si digo que el tercer modelo funciona mucho mejor en la predicción de valores extremos que los otros dos? Esencialmente, entiendo que en una predicción basada en la media la correlación sería 0 pero el RMSE podría no ser tan alto debido a que las sobrepredicciones compensan las infrapredicciones (?). ¿Hay alguna otra alternativa?

Answer 1

No he visto usar Pearson's $r$ como estadística, utilizada para determinar la calidad de una modelo predictivo . Tal vez quiera decir que utiliza $R^2$ por eso. Si ese es el caso, las diferencias en interpretación entre RMSE y $R^2$ se debaten aquí . También tengo entendido que el uso de ajustado $R^2$ es preferible a $R^2$ ( http://www.theanalysisfactor.com/assessing-the-fit-of-regression-models ):

O al modelo de regresión. Este aumento es artificial cuando predictores no mejoran realmente el ajuste del modelo. Para remediarlo una estadística relacionada, R-cuadrado ajustado, incorpora los grados de libertad del modelo. grados de libertad del modelo. R-cuadrado ajustado disminuirá a medida que se añadan predictores si el aumento del ajuste del modelo no compensa la pérdida de grados de libertad. grados de libertad. Del mismo modo, aumentará a medida que se añadan predictores si el aumento del ajuste del modelo merece la pena. R-cuadrado ajustado debe utilizarse siempre con modelos con más de una variable predictora. En Se interpreta como la proporción de la varianza total que explica el modelo. por el modelo.

Recientemente, también he visto una recomendación para utilizar la predicción suma residual de cuadrados en lugar de $R^2$ como medida de calidad predictiva (potencia) de un modelo de regresión: http://www.analyticbridge.com/profiles/blogs/use-press-not-r-squared-to-judge-predictive-power-of-regression .

Además, no estoy seguro de que tenga sentido comparar RMSE y $R^2$ en general, ya que el primero es un absoluto medida de ajuste mientras que el segundo es un relativa uno (las estadísticas escalas son diferentes).

Answer 2

"el tercer modelo predice mucho mejor los valores extremos" - el tercer modelo predice mejor los valores, para ser precisos. esto proporciona la relación entre los dos http://www.mathworks.com/matlabcentral/answers/36351-relationship-between-rmse-and-r-2 Dado que el RMSE depende del rango de valores de los datos, no hay razón para esperar que el cambio en el RMSE sea el mismo que el cambio en R2. No estoy seguro de la última parte de su pregunta.

Answer 3

Por lo que he leído, con Pearsons r la relación r^2=R^2 sólo es válida para relaciones lineales, que es básicamente lo que r entrega: medida de la relación lineal entre dos variables.

• R^2 mide la proporción de variabilidad en Y explicada por el modelo de regresión
• (N)RMSE mide la desviación típica de los residuos

Comprendo (N)RMSE o alternativamente el más intuitivo (N)MAE -ambos pueden normalizarse- más como medida de la disperson general pero no en general para el tipo de relación entre dos variables. Así pues, ambas métricas son complementarias y no se sustituyen mutuamente.

Véase también artículo y responder que desde mi punto de vista debería ser la aceptada.

Answer 4

Algunas formas de evaluar la precisión o el error de un modelo son la precisión mín-máx, el MSE, el RMSE, el NRMSE, el MAE y el MAPE. También incluiré aquí la pseudo r-cuadrado de Efron. Una cosa a tener en cuenta es si el valor es sin unidades, unidades de la variable predicha, o su cuadrado .

En el caso de las infrapredicciones y las sobrepredicciones con RMSE, el RMSE aumenta para cada una de ellas; no se da el caso de que un tipo de error "compense" al otro.

En cuanto a tu pregunta sobre la predicción de valores extremos, ¿por qué no trazar los valores predichos y los valores reales, tal vez con una línea de 1 a 1?

No estoy seguro de utilizar la correlación de los valores previstos y reales para este fin. Me parece que tendría un punto débil en el sentido de que se podría obtener una correlación alta si el modelo infrapredice o sobrepredice sistemáticamente los valores.