Elegir siempre el CV repetido en lugar del CV plegado

Question

A mi entender, el CV repetido da resultados superiores en comparación con el CV k fold.

¿Existe algún caso en el que sea preferible el currículum vitae k en comparación con el currículum vitae repetido?

En particular, para las redes neuronales, ¿cuál sería la opción preferible?

Utilizo R y el paquete caret

Saludos, Ioannis

Answer 1

La repetición y el plegado son conceptos ortogonales. Plegar significa dividir los datos en k subconjuntos similares y utilizar todas las combinaciones de k-1 como entrenamiento y utilizar el pliegue restante como prueba. Repetición es repetir cualquier procedimiento de validación cruzada que haya utilizado muchas veces (siempre que el generador interno de números aleatorios genere diferentes particiones/subconjuntos - sólo asegúrese de no utilizar la misma semilla para cada repetición).

Lo que usted llama CV repetido es probablemente una retención repetida del x%, en la que utiliza el x% de los datos como prueba, y el otro 100-x% como entrenamiento.

Hasta donde yo sé, en la estimación de un parámetro (precisión, tasa de error, etc.) no hay diferencia entre el plegado y la retención repetida, siempre que se utilice el mismo número de conjuntos de entrenamiento/prueba y sean del mismo tamaño. Así, una estimación de 5 pliegues es tan buena como una estimación de retención repetida del 20%. Una estimación 2x repetida de 3 pliegues es equivalente a una estimación 6x repetida de 33% de retención.

La ventaja de una retención repetida es que se tiene más control: se puede tener una retención repetida del 10% 6 veces. Pero un hold-out de 10 veces repetiría la estimación 10 veces.