Estimación de la importancia de las variables en un perceptrón multicapa

Question

De la búsqueda online hasta ahora, sólo he encontrado el Algoritmo de Garson como método para deducir la importancia de las variables en un Perceptrón Multicapa. Sin embargo, el actual algoritmo de Garson incluido en el paquete 'NeuralNetTools' para R calcula la importancia para un MLP con una sola capa oculta y no funciona para 2 capas ocultas.

¿Hay algún otro paquete que ejecute el algoritmo de Garson en MLP con 2 capas ocultas?

Además, ¿hay algún otro enfoque para calcular la importancia de las variables en un MLP aparte del algoritmo de Garson?

Answer 1

¿Por qué no intentar el mismo enfoque que el utilizado para los bosques aleatorios? Dado un conjunto de datos de entrenamiento/prueba, se entrena el modelo y luego se prueba y se observa el error.

Ahora, para cada columna del conjunto de pruebas, genere una permutación aleatoria de los elementos y observe el nuevo error. Si el cambio observado no es importante, entonces el predictor tuvo poco impacto en el pronóstico.

Para una estimación más precisa de la importancia, puede realizar un CV K-fold en lugar de limitarse a dividir los datos.

Nunca he visto a nadie usarlo con redes neuronales. Sin embargo, se aplica con éxito a las SVM.

Lo bueno de este enfoque es que es completamente independiente del método de aprendizaje que esté utilizando: puede aplicarlo de una vez por todas.

Answer 2

¿Has considerado el diagrama jacobiano de Eric-Wan con la regla Delta?

Esto tiene dos partes.

• El primero es el (revolucionario) diagrama jacobiano. Antes de Wan los gradientes se derivaban analíticamente, y un único aprendizaje enfoque podía ser una tesis. Él dio una solución general para el campo ( aquí está el enlace )
• La segunda parte es el método delta. Relaciona el jacobiano con la varianza. ( math.montana.edu/~parker/PattersonStats/Delta.pdf ).

BTW: Aquí hay una referencia que sugiere que "Garson" es bastante malo. ( http://www.massey.ac.nz/~mkjoy/pdf/Olden,Joy&DeathEM.pdf )

Dado que el "análisis de sensibilidad" funciona bastante bien, puede que te guste este enlace: https://beckmw.wordpress.com/2013/10/07/sensitivity-analysis-for-neural-networks/