Cómo implementar una validación de retención en R

Question

Digamos que estoy usando el Sonar datos y me gustaría hacer una validación de retención en R. Particioné los datos usando el createFolds de caret paquete como folds <- createFolds(mydata$Class, k=5) .

Me gustaría entonces utilizar exactamente el pliegue mydata[i] como datos de prueba y entrenar un clasificador utilizando mydata[-i] como datos del tren.

Mi primer pensamiento fue utilizar el train pero no pude encontrar ningún soporte para la validación de hold-out. Es decir, no quiero dividir mis datos y luego probar todas las combinaciones para estimar la exactitud media, quiero entrenarla sólo una vez. ¿Me falta algo aquí?

Además, me gustaría poder utilizar exactamente los pliegues predefinidos como parámetro, en lugar de dejar que la función particione los datos. ¿Alguien tiene alguna idea?

Gracias de antemano

Answer 1

Es difícil saber exactamente lo que le interesa. Si se trata de una sola retención, puede utilizar

trainControl(method = "LGOCV", p = .8, number = 1)

y el 80% se destinará a la formación.

También hay method = "none" que sólo ajustará el modelo para un único valor del parámetro de ajuste (utilizando todo el conjunto de entrenamiento).

Además, si desea utilizar su(s) propio(s) conjunto(s) de retención, consulte el index argumento de trainControl .

Max