estoy participando en un reto en el que me he creado un modelo que realiza el 70% de las AUC en tren y el 70% de las AUC en espera de salida de prueba.
El otro participante ha creado un modelo que realiza el 96% de las AUC en tren y el 76% de las AUC en espera de salida de prueba.
En mi opinión, mi modelo es mejor porque se lleva a cabo en el mismo nivel en una bodega.
P: ¿Es válido argumentar que su 76% en un conjunto de pruebas es sólo una coincidencia, y en otro a cabo el conjunto de pruebas de su modelo podría realizar peor?
Respuestas
¿Demasiados anuncios?
Esto dependerá de cómo su entrenamiento y de prueba de los conjuntos están compuestos.
Si el conjunto de pruebas es bastante grande y refleja el "caso de aplicación" de los datos de diversidad correctamente, yo no diría como este. Pero si los datos de prueba es bastante pequeño, por supuesto podría lograr algunos buenos o malos resultados por casualidad. El uso de más datos de prueba podría ser útil en tales casos (o utilizar una mayor parte del total de los datos disponibles - si es posible).
Además, los resultados de la formación debe ser obtenido usando algunas interior de partición (por ejemplo, repite la validación cruzada), que las pruebas en los datos que el modelo no ha visto antes. El rendimiento y el rendimiento se extendió a través de los resultados se muestra cómo el modelo generalmente se lleva a cabo, y qué tan probable es que acaba de obtener mejores o peores resultados. El uso de un procedimiento de este tipo, yo no lo consideraría los resultados de la prueba que son los mejores de su CV que los resultados sean realistas. Probablemente, usted debe también mirar y comparar los CV y un rendimiento propagación de ambos modelos.
Y: tenga en cuenta que si los datos de su entrenamiento es bastante pequeño en comparación con sus datos de prueba, los resultados de su capacitación, todavía podría ser notablemente mejores que los resultados de su prueba y real de la aplicación de resultados.
Bill
Puntos
16
Si el enfoque es puramente de exactitud predictiva, el modelo overfitted es probablemente mejor. Tomar por ejemplo un bosque aleatorio: en el conjunto de datos de entrenamiento, por construcción, muy overfits. Todavía los resultados en los datos de prueba fijado son a menudo bastante razonable (y el rendimiento de la prueba cerca el rendimiento declarado de fuera de bolsa).
Esto funciona sólo si el conjunto de datos de prueba refleja "casos reales" y los supuestos de los modelos subyacentes se cumplen razonablemente.
matang
Puntos
106
Es muy posible (y en ciertas situaciones) para ser el sobreajuste en el conjunto de pruebas así. Ajuste correctamente los modelos deben alcanzar aproximadamente similar cruz validado rendimiento en el entrenamiento y la prueba de conjuntos de datos. Las mejores prácticas sería también tienen otra porción del conjunto de datos que se utiliza sólo una vez: para evaluar el rendimiento del modelo de datos que no ha visto a todos.
Si usted está utilizando la prueba de conjunto para construir el modelo de forma iterativa, decir que la adición de una característica, a continuación, viendo cómo se valida en el conjunto de pruebas, que le está dando al modelo de información acerca de la prueba de conjunto. Específicamente eres la polarización de los resultados en la prueba de conjunto para ser más alto (que es, usted está de sobreajuste) si ajusta el modelo basado en su conjunto de pruebas de rendimiento.
