¿Cuántas veces hay que repetir un CV K-fold?

Question

Me encontré con este hilo mirando las diferencias entre bootstrapping y validación cruzada - gran respuesta y referencias por cierto. Lo que me pregunto ahora es, si yo fuera a realizar repetidas 10 veces CV decir para calcular la precisión de un clasificador, ¿cuántas veces n ¿debo repetirlo?

En n depende del número de pliegues? ¿Del tamaño de la muestra? ¿Existe alguna norma al respecto?

(En mi caso, tengo muestras tan grandes como 5000, y si elijo algo más grande que n = 20 mi ordenador tarda demasiado en realizar el cálculo. )

Answer 1

Pregunte lo que quiera a un estadístico y su respuesta será "depende".

Depende . Aparte del tipo de modelo (¡buen punto cbeleites!), ¿el número de puntos del conjunto de entrenamiento y el número de predictores? Si el modelo es de clasificación, un gran desequilibrio de clases me llevaría a aumentar el número de repeticiones. Además, si estoy remuestreando un procedimiento de selección de características, me inclinaría por un mayor número de remuestreos.

Para cualquier método de remuestreo utilizado en este contexto, recuerde que (a diferencia del bootstrapping clásico), sólo necesita suficientes iteraciones para obtener una estimación "suficientemente precisa" de la media de la distribución. Esto es subjetivo, pero cualquier respuesta lo será.

Si nos ceñimos por un momento a la clasificación con dos clases, supongamos que espera que la precisión del modelo sea de 0,80 aproximadamente. Dado que el proceso de remuestreo está muestreando la estimación de la precisión (digamos p ), el error típico sería sqrt[p*(1-p)]/sqrt(B) donde B es el número de remuestreos. En B = 10 el error estándar de la precisión es de aproximadamente 0,13 y con B = 100 es aproximadamente 0,04. Puedes utilizar esa fórmula como guía aproximada para este caso concreto.

Considere también que, en este ejemplo, la varianza de la precisión se maximiza cuanto más se acerca a 0,50, por lo que un modelo preciso debería necesitar menos réplicas, ya que el error estándar debería ser menor que los modelos que son aprendices débiles.

HTH,

Max

Answer 2

El factor que influye es cómo estable su modelo - o, más precisamente: las predicciones de los sustitutos son.

Si los modelos son completamente estables, todos los modelos sustitutos arrojarán la misma predicción para el mismo caso de prueba. En ese caso, las iteraciones/repeticiones no son necesarias y no aportan ninguna mejora.

Como se puede medir la estabilidad de las predicciones, esto es lo que yo haría:

• Configurar todo el procedimiento de forma que guarde los resultados de cada repetición/iteración de validación cruzada, por ejemplo, en el disco duro.

• Empezar con un gran número de iteraciones

• Una vez realizadas algunas iteraciones, obtenga los resultados preliminares y observe la estabilidad/variación de los resultados en cada ejecución.

• A continuación, decida cuántas iteraciones más desea para afinar los resultados.

• Por supuesto, puede decidir realizar, digamos, 5 iteraciones y luego decidir el número final de iteraciones que desea realizar.

(Nota al margen: normalmente utilizo > aprox. 1000 modelos sustitutos, por lo que el número típico de repeticiones/iteraciones estaría en torno a 100 - 125).