¿Qué pasa si validación alta exactitud pero prueba baja exactitud en la investigación?

Question

Tengo una pregunta específica acerca de la validación en la máquina de la investigación del aprendizaje.

Como sabemos, el aprendizaje de la máquina régimen pide a los investigadores para entrenar a sus modelos en los datos de entrenamiento, seleccione de modelos candidatos por el conjunto de validación, y la precisión del informe sobre el conjunto de prueba. En un riguroso estudio, la prueba de conjunto sólo puede ser utilizado una vez. Sin embargo, nunca puede ser el escenario de la investigación, porque tenemos que mejorar nuestro rendimiento hasta que la exactitud de la prueba es mejor que el estado de la técnica de los resultados antes de que podamos publicar (o incluso enviar) un papel.

Ahora viene el problema. Digamos que el 50% es la mayoría de los estado-of-the-art resultado, y mi modelo general puede alcanzar el 50--51 precisión, lo que es mejor, en promedio.

Sin embargo, mi mejor precisión de validación (52%) de los rendimientos de un muy bajo nivel de exactitud de la prueba, por ejemplo, el 49%. Entonces, tengo que informar, el 49% de mi rendimiento general si no puedo mejorar aún más la validación de la acc, que creo que es de los que no hay esperanza. Esto realmente me impide estudiar el problema, pero no importa a mis compañeros, porque ellos no ven el 52% acc, que creo que es un valor atípico.

Así que, ¿cómo la gente suele hacer en sus investigaciones?

p.s. k-fold de validación es de ninguna ayuda, ya que la misma situación puede ocurrir.

Answer 1

Por definición, cuando la formación de precisión (o cualquier métrica que está utilizando) es más alta que la prueba tiene una overfit modelo. En esencia, el modelo ha aprendido detalles que ayudan a que funcione mejor en los datos de entrenamiento que no son aplicables a los datos de mayor tamaño de la población y por lo tanto resultar en un peor rendimiento.

No estoy seguro de por qué usted dice k veces la validación no sería útil. Su propósito es ayudar a evitar el sobre a la medida de sus modelos. Tal vez usted no tiene suficientes datos? Una declaración como esta es importante, especialmente si usted va a defender a ninguna investigación cuando esta cruz de los métodos de validación son muy recomendables.

Dicen ustedes que no son capaces de utilizar el conjunto de pruebas una vez (de nuevo supongo menor tamaño de la muestra?). En mi experiencia el camino más común seguido es k-fold cross-validación del modelo. Veamos un ejemplo con 10 veces CV para un tamaño de muestra de 100 y asumir su problema de clasificación es el sistema binario para realizar los cálculos simples. Por tanto, me han separado de mis datos en 10 diferentes pliegues. Yo, a continuación, ajuste mi modelo a 9/10 pliegues y predecir las 1/10 yo a la izquierda. Para esta primera ejecución, la confusión resultante de la matriz es:

    0  1
0   4  1
1   2  3

Yo, a continuación, repita este análisis de nuevo con el siguiente 1/10 doblar a la izquierda y tren en la otra 9/10. Y conseguir mi siguiente matriz de confusión. Una vez completado, tengo 10 matrices de confusión. Yo sería entonces la suma de estas matrices (así que tuve la totalidad de las 100 muestras predicho) y, a continuación, informe de estadísticas (Exactitud, PPV, F1-score, Kappa, etc.). Si la precisión no es donde usted quiere que sea, existen muchas otras posibilidades.

1. El modelo necesita ser mejorado (cambio de parámetros)
2. Puede que tenga que probar una máquina diferente algoritmo de aprendizaje (no todos los algoritmos creados iguales)
3. Se necesitan más datos (sutil relación difícil de encontrar)
4. Usted puede necesitar para intentar transformar los datos (depende del algoritmo utilizado)
5. No puede haber ninguna relación entre sus variables dependientes e independientes

El hecho del asunto es, un menor de prueba métrica (por ejemplo, precisión) que su formación es indicativo de sobreajuste su modelo no es algo que usted desea cuando se trata de crear un nuevo modelo predictivo.