Dado un conjunto de datos, ¿cómo probar su modelo contra el conjunto de prueba si utilizó StratifiedKFold y estandarizó los conjuntos de entrenamiento y validación por pliegue?

Question

No he podido encontrar una respuesta a la siguiente cuestión y me siento un poco atascado...

Tengo un conjunto de datos y quiero dividirlo de la siguiente manera:

• 90% para la formación y la validación
• 10% para la prueba

Ahora, quiero usar StratifiedKFold() en el 90%. Digamos que quiero 10 pliegues. Hago el bucle, obtengo los índices, obtengo los conjuntos de entrenamiento y validación, uso el StandardScaler() para cada pliegue por separado, entrenar el modelo en cada pliegue, obtener la precisión media.

Después de hacer todo esto, ¿cómo debo utilizar el 10% que queda para las pruebas, dado que no estaba normalizado? ¿Qué me falta?

Gracias

Answer 1

Tienes que normalizar en cada bucle/pliegue tu conjunto de pruebas con la MISMA normalización que aplicaste a tu conjunto de entrenamiento, así que algo así:

normalization = StandardScaler().fit(X_train)

X_train = normalization.transform(X_train)
X_test  = normalization.transform(X_test)

Si no aplica la misma normalización al conjunto de pruebas, habrá modificado fundamentalmente sus datos de prueba.