RMSEP vs RMSECV vs RMSEC vs RMSEE

Question

Estoy realmente confundido ahora, ¿Cuál es la diferencia entre, RMSEP (Raíz del Error Cuadrático Medio de Predicción), RMSECV (Raíz del Error Cuadrático Medio de Validación Cruzada), RMSEC (Raíz del Error Cuadrático Medio de Calibración), RMSEE (Raíz del Error Cuadrático Medio de Estimación)

¿Son la raíz cuadrada de sus correspondientes EMV*?

¿Y qué pasa con PRESS (Suma de Cuadrados del Residual de Predicción)?

¡Necesito ayuda por favor!

Answer 1

• sí, las versiones R* (raíz...) son la raíz cuadrada de los correspondientes errores cuadráticos medios (MSE)

• Se diferencian en el tipo de casos que se utilizan para medirlos:

  • RMSEC: error de calibración, es decir, los residuos de los datos de calibración.
    (R)MSEC mide la bondad de ajuste entre tus datos y el modelo de calibración. Dependiendo del tipo de datos, modelo y aplicación, esto puede estar sujeto a un sesgo optimista enorme debido al sobreajuste en comparación con el (R)MSE observado para casos reales al aplicar la calibración. Si el modelo sufre de no ser lo suficientemente complejo (subajuste), el error de calibración se aproxima al error de predicción. Pero no puede indicar el sobreajuste.

  • RMSECV: los errores se calculan en divisiones de prueba/entrenamiento utilizando un esquema de validación cruzada para la división.
    Si la división de los datos se realiza correctamente, esto da una buena estimación de cómo funciona el modelo construido en el conjunto de datos para casos desconocidos. Sin embargo, debido a la naturaleza de remuestreo del enfoque, en realidad mide el rendimiento para casos desconocidos que se obtuvieron entre los casos de calibración. Es decir, no mide cuán bien funciona el modelo para casos que se miden meses después de que se realiza la calibración. Para esto, necesitas

  • MSEP/RMSEP: error de predicción, es decir, medido en casos reales y comparado con valores de referencia obtenidos para estos.
    RMSEP puede medir, por ejemplo, cómo empeora el rendimiento con el tiempo (por ejemplo, debido a la deriva del instrumento), pero solo si los experimentos de validación tienen un diseño que permita medir estas influencias.

Observaciones generales:

• Recomendaría informar detalladamente tanto para la validación cruzada como para los errores de predicción cómo se apartan los casos de prueba, y para qué factores se aseguró la independencia.
  Regularmente encuentro descripciones de "pruebas independientes" (RMSEP) donde en realidad se realizó una única división de los datos de calibración.

• Una división única de los datos obtenidos para la calibración típicamente no ofrece una estimación de rendimiento mejor que una validación cruzada. Afirmo esto porque en la práctica, la mayoría de las filtraciones de datos ocurren tan fácilmente para una única división como para las múltiples divisiones en la validación cruzada. Sin embargo, puede ser más fácil implementar un protocolo que en la práctica evite estos errores de una manera muy transparente para el error de predicción