¿Es el proceso de cálculo del error estándar residual en el conjunto de entrenamiento y en el conjunto de prueba el mismo?
Respuestas
¿Demasiados anuncios?
sunnie
Puntos
18
Sí, el proceso de cálculo del error estándar residual (RSE) en el conjunto de entrenamiento y en el conjunto de prueba es el mismo. La única diferencia es que se utiliza un conjunto de datos diferente para cada uno: un conjunto de datos de ENTRENAMIENTO y un conjunto de datos de PRUEBA, que suelen corresponder al 70% y al 30% del conjunto de datos original, respectivamente.
Existe un tercer tipo de RSE, la RSE de generalización. Entonces, los tres tipos de RSE son:
- Formación RSE: calculado sobre el conjunto TRAIN. El RSE de entrenamiento está sesgado en el sentido de que es un estimador más pequeño (optimista) del RSE real del modelo y, por tanto, rara vez se utiliza como medida de evaluación del modelo.
- Generalización RSE: (teóricamente) calculado sobre la población completa de la que se tomó la muestra. En la realidad, no se conoce la distribución de la población, por lo que el RSE de generalización no puede calcularse en la práctica.
- Prueba (o empírica) RSE: calculado sobre el conjunto TEST. Si la muestra es iid, el RSE del conjunto de PRUEBA se utiliza como estimador coherente del RSE de Generalización.
oDDsKooL
Puntos
141
No, no es lo mismo. Cuando se calcula el RSE del conjunto de entrenamiento, se miden las desviaciones del modelo generado en relación con el conjunto de datos utilizado para generar dicho modelo. Por otro lado, el RSE del conjunto de prueba mide las desviaciones del modelo que generó con algunos datos nuevos, no utilizados previamente para generar este modelo.
Por ejemplo, supongamos que crea un modelo lineal "Ventas (Y) VS. Gastos de publicidad (X)". Para ello utilizas datos mensuales de 2010 a 2014 y generas un modelo a partir de esto, digamos que es: Ventas = 20 + 0,3*Ad. Este modelo tendrá inevitablemente alguna desviación con respecto a tu conjunto de datos (2010-2014), ya que ningún modelo se ajustará perfectamente a un conjunto de datos dado. Una medida de esta desviación es el RSE del conjunto de entrenamiento. Por otra parte, es posible que desee probar su modelo con datos futuros. Supongamos que dispone de datos de los primeros meses de 2015 y necesita calcular la desviación de su modelo con estos nuevos datos, que no se utilizaron para generar su modelo. Una medida de esta desviación es el RSE del conjunto de prueba.
