¿ML / tren-prueba-validar: lo que está permitido cuando?

Question

Como alguien introducción en el aprendizaje de máquina, estoy tratando de conseguir mi cabeza alrededor de las reglas de buenas prácticas a seguir cuando la construcción, las pruebas y la validación de los supervisados ML modelos con el fin de no contaminar mis pruebas y los conjuntos de validación y correr el riesgo de sobreajuste.

Digamos que he dividido mis datos en un entrenamiento, prueba y validación del conjunto de datos. Me gustaría probar varios algoritmos - por ejemplo, la regresión logística, RF, SVM y elegir el mejor de ellos.

• Puedo entrenar y probar todos los tres de los modelos, o sólo uno de ellos?
• ¿Puedo utilizar el conjunto de entrenamiento solo (es decir, en la validación cruzada) internamente prueba varios modelos?
• Dado que tengo un conjunto de validación, qué debo hacer después de haber usado mi conjunto de pruebas? Ajustar los parámetros de los modelos? ¿Cuántas veces?
• Si puedo combinar varios modelos en uno solo (conjunto de aprendizaje), en la que de paso lo voy a hacer?
• En su opinión, al mirar mi pregunta - ¿hay algo que he fundamentalmente mal entendido acerca de la formación/acercamiento de la prueba?

Answer 1

Empecemos primero con el tren y el conjunto de prueba. La manera correcta para ir a entrenar a varios modelos de uso de su tren y calcular el error en el conjunto de prueba. El mejor modelo es el de menor error de la prueba.

Sin embargo, casi cada modelo tiene parámetros a optimizar. Tenga en cuenta que usted no puede usar el conjunto de pruebas a hacer eso, o usted será el sobreajuste del modelo a los datos de prueba y sería como "hacer trampa". Usted tiene dos opciones: o se tiene un conjunto de validación, y ajustar los parámetros para que el menor error en el conjunto de validación o no y el uso de la validación cruzada con su conjunto de tren. Tenga en cuenta que siempre se puede dividir aleatoriamente algunos de los datos del conjunto de tren con el fin de hacer un conjunto de validación, pero tal vez usted no quiere hacer eso porque no hay muchos ejemplos para empezar.

En cualquier caso, una vez que los mejores parámetros son seleccionados de calcular de nuevo el error en el conjunto de prueba. Dio algunas suposiciones (la distribución del conjunto de pruebas es similar a la de tren y de la validación y así sucesivamente) esta es una buena estimación de su generalización.error debido a que no utiliza la prueba de conjunto para entrenar el modelo ni para sintonizar los parámetros, por lo que si usted fuera a utilizar este modelo en los nuevos datos (de nuevo debido a la misma hipótesis) se puede esperar para obtener un error similar a uno. Tenga en cuenta que usted no puede medir esto, porque por lo general para este nuevo dato real.el resultado no está disponible y sólo puede esperar. Esta sería la fase de producción y su modelo es listo para el negocio!