¿Cuál es el mejor enfoque para las pruebas de permutación de los modelos de aprendizaje profundo?

Question

¿Debería simplemente barajar mis etiquetas y entrenar mi modelo durante un determinado número de iteraciones?

El resultado de la prueba de permutación debería dar una precisión de prueba/validación baja, ¿verdad? Es necesario realizar una prueba de permutación para comprobar la robustez del modelo de aprendizaje profundo o una validación cruzada de 10 veces es más que suficiente?

El modelo de aprendizaje automático tiene sklearn.model_selection.permutation_test_score pero el modelo de aprendizaje profundo no tiene ninguna función de prueba de permutación.

Answer 1

La prueba de permutación de importancia consiste en barajar los valores de las características. No es barajar las etiquetas. Las etiquetas permanecen fijas todo el tiempo. Se trata de ver cuánto cambia la puntuación al barajar los valores de las características. Si la característica es irrelevante, el barajado no afectará mucho a la puntuación. Pero si la característica es importante para el modelo, barajar los valores de la característica tendrá un gran impacto en la puntuación.

La puntuación no tiene por qué ser exacta. La precisión es la puntuación con su propio punto débil.

La función en sklearn, permutation_test_score es agnóstica al modelo. No depende de ningún modelo y se puede utilizar con un modelo de aprendizaje profundo también. En realidad, la prueba es agnóstico modelo. Usted puede comprobar este ejemplo en la documentación de sklearn.