¿Necesitamos un conjunto de pruebas cuando utilizamos la validación cruzada k-fold?

Question

He estado leyendo sobre la validación k-fold, y quiero asegurarme de que entiendo cómo funciona.

Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba sólo se utiliza al final para evaluar el rendimiento del modelo, mientras que el conjunto de validación se utiliza para ajustar los hiperparámetros, etc.

En el método k-fold, ¿seguimos reservando un conjunto de pruebas para el final? y sólo utilizamos los datos restantes para el entrenamiento y el ajuste de los hiperparámetros, es decir, dividimos los datos restantes en k pliegues, y luego utilizamos la precisión media después del entrenamiento con cada pliegue (o cualquier métrica de rendimiento que elijamos para ajustar nuestros hiperparámetros)? ¿O no utilizamos un conjunto de pruebas separado y simplemente dividimos todo el conjunto de datos en k pliegues (si este es el caso, asumo que simplemente consideramos la precisión media en los k pliegues como nuestra precisión final)?

Answer 1

En el método de los pliegues K, ¿seguimos reservando un conjunto de pruebas para el final, y sólo utilizamos los datos restantes para el entrenamiento y el ajuste de los hiperparámetros (es decir, dividimos los datos restantes en k pliegues, y luego utilizamos la precisión media después del entrenamiento con cada pliegue (o cualquier métrica de rendimiento que elijamos) para ajustar nuestros hiperparámetros)?

Sí. Por regla general, el conjunto de pruebas nunca debe utilizarse para modificar el modelo (por ejemplo, sus hiperparámetros).

Sin embargo, la validación cruzada puede utilizarse a veces con fines distintos al ajuste de hiperparámetros, por ejemplo, para determinar hasta qué punto la división entre el entrenamiento y la prueba afecta a los resultados.

Answer 2

En general, sí. Básicamente, estamos hablando de la compensación entre sesgo y varianza. Si utilizas datos para construir tu modelo (datos de entrenamiento y de validación) e iteras sobre diferentes hiperparámetros y tratas de maximizar una métrica de rendimiento promediada, tu modelo podría no ser tan bueno como se indica.

Sin embargo, especialmente en conjuntos de datos pequeños, la división adicional podría conducir a un conjunto de entrenamiento aún más pequeño y dar lugar a un mal modelo.

Answer 3

Lo ideal es que la validación (para la selección del modelo) y la prueba final no se mezclen. Sin embargo, si el valor de k es alto, o si se trata de un leave-one-out, utilizar el resultado de la prueba para guiar la selección del modelo es menos perjudicial. En este caso, si está escribiendo un artículo académico, no lo haga (a menos que se moleste en explicarlo), es decir, tenga siempre un conjunto de pruebas separado. Si está construyendo un proyecto práctico, está bien hacerlo.