Similitud de dos redes neuronales

Question

Tengo dos redes neuronales. Si sólo tomo los pesos (las funciones de activación de ambas son las mismas), ¿hay alguna manera de saber el porcentaje de similitud de estas dos redes?

Answer 1

Suponiendo que se trate de las típicas redes de alimentación directa, que están totalmente conectadas entre capas vecinas: el orden de las neuronas dentro de las capas podría cambiarse sin modificar el comportamiento de las redes. Como diferentes ejecuciones de entrenamiento de una red pueden acabar fácilmente con tales configuraciones (diferentes neuronas en la misma capa podrían aprender la misma información en diferentes posiciones en diferentes ejecuciones), tales redes deberían ser consideradas iguales - de lo cual asumo que la medida de similitud debería considerar tales redes iguales también.

Una opción hipotética sería determinar la combinación óptima de "parejas coincidentes" para cada neurona de una capa de la primera red con las neuronas de la misma capa de la segunda red. Cada comparación de dos neuronas podría arrojar un valor de similitud escalar. Al determinar la combinación óptima de parejas coincidentes por capa, el vector de similitudes resultante para esas neuronas podría utilizarse para obtener un valor escalar de la similitud de toda la capa, en las dos redes. La obtención de esta similitud para todas las N+1 capas le dejaría con N pesos, que podría utilizar para calcular una similitud escalar. Una desventaja de esto es que probablemente se volverá muy complejo con múltiples capas, porque el orden de las neuronas en las capas anteriores/sucesivas podría estar revuelto también.

Una opción probablemente mejor sería considerar cada camino de cada neurona de entrada a cada neurona de salida, y comparar esos caminos entre las dos redes. De nuevo, se podría determinar el "compañero de correspondencia" óptimo para cada camino (de modo que todos los caminos tengan un "compañero de correspondencia" en la segunda red al final). De este modo, se obtendría un valor de similitud escalar por camino, a partir del cual se podría calcular de nuevo la similitud global de la red. La ventaja de esto es que no se vería afectado en absoluto por los cambios de orden de las neuronas, pero el gran inconveniente sería que el número de caminos crece exponencialmente con la cantidad de neuronas y capas.

Answer 2

Se puede intentar estimar la similitud entre dos unidades, utilizando sus pesos y la matriz de similitud entre las unidades de las que reciben entradas. Esto llevaría a un proceso similar a la retropropagación, pero yendo de abajo a arriba. Al principio se estima la similitud entre cada par de unidades de la primera capa, luego se estima la similitud entre las unidades de la segunda capa, y así sucesivamente.

Al final no tendrás una respuesta exacta. Lo mejor que puede esperar es hacer una estimación que no se aleje demasiado de la verdad.

Answer 3

Podrías considerar el número total de neuronas como tu población, y comprobando los pesos de las neuronas, a través de esta formulación decir cómo de similares son estas dos:

similitud = (número de neuronas con los mismos valores de peso) / (número total de neuronas) * 100

Como has mencionado, estamos considerando que el número de neuronas, las funciones de activación, ... son todas iguales. Por supuesto, no hay un método directo para hacer esto, y lo que he dicho aquí es sólo una forma posible.

Answer 4

Es una buena pregunta. Nunca lo he hecho, pero yo aplicaría un análisis de componentes principales en el espacio de pesos y luego compararía los primeros N PC. Utilizaría este enfoque para tratar el hecho de que dos NNs pueden tener un "comportamiento" idéntico (la misma entrada-salida) con diferentes pesos.