¿Cuál es la diferencia entre el conjunto de pruebas y el conjunto de validación?

Question

He encontrado esto confuso cuando uso la caja de herramientas de redes neuronales en Matlab.
Dividió el conjunto de datos brutos en tres partes:

1. conjunto de entrenamiento
2. conjunto de validación
3. juego de pruebas

Me he dado cuenta de que en muchos algoritmos de entrenamiento o aprendizaje, los datos se suelen dividir en 2 partes, el conjunto de entrenamiento y el conjunto de prueba.

Mis preguntas son:

1. ¿cuál es la diferencia entre el conjunto de validación y el conjunto de prueba?
2. ¿Es el conjunto de validación realmente específico para la red neuronal? O es opcional.
3. Para ir más lejos, ¿hay alguna diferencia entre validación y prueba en el contexto del aprendizaje automático?

Answer 1

Conjunto de entrenamiento

Un conjunto de ejemplos utilizados para el aprendizaje: para ajustar los parámetros del clasificador En el caso del Perceptrón Multicapa (MLP), utilizaríamos el conjunto de entrenamiento para encontrar los pesos "óptimos" con la regla back-prop

Conjunto de validación

Un conjunto de ejemplos utilizados para afinar los parámetros de un clasificador En el caso del MLP, utilizaríamos el conjunto de validación para encontrar el número "óptimo" de unidades ocultas o determinar un punto de parada para el algoritmo de retropropagación

Conjunto de pruebas

Un conjunto de ejemplos utilizados únicamente para evaluar el rendimiento de un clasificador totalmente entrenado En el caso del MLP, utilizaríamos la prueba para estimar la tasa de error después de haber elegido el modelo final modelo final (tamaño del MLP y pesos reales) Después de evaluar el modelo final en el conjunto de prueba, ¡NO SE DEBE afinar más el modelo!

¿Por qué separar los conjuntos de prueba y de validación?

La estimación de la tasa de error del modelo final en los datos de validación estará sesgada (menor que la tasa de error real) ya que el conjunto de validación se utiliza para seleccionar el modelo final Después de evaluar el modelo final en el conjunto de prueba, ¡NO SE DEBE afinar más el modelo!

---

fuente : Introducción al análisis de patrones,Ricardo Gutierrez-OsunaTexas A&M University, Texas A&M University

Answer 2

Normalmente, para realizar un aprendizaje supervisado, se necesitan dos tipos de conjuntos de datos:

1. En un conjunto de datos (su "patrón de oro"), tiene los datos de entrada junto con la salida correcta/esperada; este conjunto de datos suele estar debidamente preparado, ya sea por humanos o mediante la recopilación de algunos datos de forma semiautomática. Pero debe tener la salida esperada para cada fila de datos porque la necesita para el aprendizaje supervisado.

2. Los datos a los que va a aplicar su modelo. En muchos casos, estos son los datos en los que está interesado en la salida de su modelo, y por lo tanto no tiene ninguna salida "esperada" aquí todavía.

Al realizar el aprendizaje automático, se hace lo siguiente:

1. Fase de entrenamiento: presenta los datos de su "patrón oro" y entrena su modelo, emparejando la entrada con la salida esperada.
2. Fase de validación/prueba: para estimar lo bien que se ha entrenado el modelo (que depende del tamaño de los datos, el valor que se quiere predecir, la entrada, etc.) y para estimar las propiedades del modelo (error medio para los predictores numéricos, errores de clasificación para los clasificadores, recuerdo y precisión para los modelos de RI, etc.)
3. Fase de aplicación: ahora se aplica el modelo recién desarrollado a los datos del mundo real y se obtienen los resultados. Dado que en este tipo de datos no suele haber ningún valor de referencia (de lo contrario, ¿para qué necesitaría su modelo?), sólo puede especular sobre la calidad del resultado de su modelo utilizando los resultados de su fase de validación.

La fase de validación suele dividirse en dos partes :

1. En la primera parte, sólo tienes que mirar tus modelos y seleccionar el que mejor funciona utilizando los datos de validación (=validación)
2. A continuación, se estima la precisión del enfoque seleccionado (=prueba).

De ahí la separación al 50/25/25.

En caso de que no necesite elegir un modelo apropiado entre varios enfoques rivales, puede simplemente volver a dividir su conjunto de manera que básicamente sólo tenga el conjunto de entrenamiento y el conjunto de prueba, sin realizar la validación de su modelo entrenado. Yo, personalmente, los divido en 70/30.

Ver también esta pregunta .

Answer 3

Mis 5 años de experiencia en informática me enseñaron que no hay nada mejor que la simplicidad.

El concepto de Formación/validación cruzada/prueba Los conjuntos de datos son así de sencillos. Cuando se tiene un conjunto de datos grande, se recomienda dividirlo en 3 partes:

1. Conjunto de entrenamiento (60% del conjunto de datos original): Se utiliza para construir nuestro algoritmo de predicción. Nuestro algoritmo intenta ajustarse a las peculiaridades de los conjuntos de datos de entrenamiento. En esta fase solemos crear varios algoritmos para poder comparar su rendimiento durante la fase de validación cruzada.

2. Conjunto de validación cruzada (20% del conjunto de datos original): Este conjunto de datos se utiliza para comparar el rendimiento de los algoritmos de predicción creados a partir del conjunto de entrenamiento. Elegimos el algoritmo que tiene el mejor rendimiento.

3. Conjunto de pruebas (20% del conjunto de datos original): Ahora hemos elegido nuestro algoritmo de predicción preferido, pero aún no sabemos cómo se comportará con datos del mundo real completamente desconocidos. Por lo tanto, aplicamos nuestro algoritmo de predicción elegido en nuestro conjunto de pruebas para ver cómo va a funcionar y así poder tener una idea del rendimiento de nuestro algoritmo en datos no vistos.

Notas

• Es muy importante tener en cuenta que no es recomendable saltarse la fase de prueba, ya que el algoritmo que se ha comportado bien durante la fase de validación cruzada no significa realmente que sea el mejor, porque los algoritmos se comparan en función del conjunto de validación cruzada y sus peculiaridades y ruidos...

• Durante la fase de prueba, el objetivo es ver cómo se desenvuelve nuestro modelo final en la naturaleza, por lo que en caso de que su rendimiento sea muy pobre deberíamos repetir todo el proceso a partir de la fase de entrenamiento.

Answer 4

En cada paso en el que se le pida que tome una decisión (es decir, que elija una opción entre varias), debe disponer de un conjunto/partición adicional para calibrar la exactitud de su elección, de modo que no se limite a elegir el resultado más favorable del azar y confunda el extremo de la distribución con el centro 1 . La izquierda es la pesimista. La derecha es la optimista. El centro es el pragmático. Sé el pragmático.

Paso 1) Formación: Cada tipo de algoritmo tiene sus propias opciones de parámetros (el número de capas en una red neuronal, el número de árboles en un bosque aleatorio, etc). Para cada uno de tus algoritmos, debes elegir una opción. Por eso tienes un conjunto de entrenamiento.

Paso 2) Validación: Ahora tienes una colección de algoritmos. Debes elegir un algoritmo. Por eso tienes un conjunto de pruebas. La mayoría de la gente elige el algoritmo que mejor funciona en el conjunto de validación (y eso está bien). Pero si no se mide la tasa de error del algoritmo con mejor rendimiento en el conjunto de pruebas y se opta por su tasa de error en el conjunto de validación, entonces se ha confundido ciegamente el "mejor escenario posible" con el "escenario más probable". Esa es una receta para el desastre.

Paso 3) Pruebas: Supongo que si tus algoritmos no tuvieran ningún parámetro, no necesitarías un tercer paso. En ese caso, su paso de validación sería su paso de prueba. Tal vez Matlab no te pide parámetros o has elegido no usarlos y esa es la fuente de tu confusión.

1 A menudo es útil ir a cada paso con la suposición (hipótesis nula) de que todas las opciones son las mismas (por ejemplo, todos los parámetros son los mismos o todos los algoritmos son los mismos), de ahí mi referencia a la distribución.

2 Esta imagen no es mía. La he tomado de este sitio: http://www.teamten.com/lawrence/writings/bell-curve.png

Answer 5

No es necesario dividir los datos de ninguna manera. El bootstrap puede proporcionar estimaciones más pequeñas del error cuadrático medio de la precisión de la predicción utilizando toda la muestra tanto para desarrollar como para probar el modelo.