A menudo escucho a la gente hablando sobre las redes neuronales como algo similar a una caja negra que no entendemos qué hace o qué significan. ¡De hecho, yo no puedo entender a qué se refieren con eso! ¿Si entiendes cómo funciona la retropropagación, entonces cómo es una caja negra?
¿Quieren decir que no entendemos cómo se calcularon los pesos o qué?
Una red neuronal es una caja negra en el sentido de que, aunque puede aproximar cualquier función, estudiar su estructura no te dará ninguna idea sobre la estructura de la función que se está aproximando.
Como ejemplo, un uso común de las redes neuronales en el negocio bancario es clasificar a los prestatarios como "buenos pagadores" y "malos pagadores". Tienes una matriz de características de entrada $C$ (sexo, edad, ingresos, etc) y un vector de resultados $R$ ("incumplido", "no incumplido", etc). Cuando modelas esto usando una red neuronal, estás suponiendo que hay una función $f(C)=R$, en el sentido adecuado de una función matemática. Esta función f puede ser arbitrariamente compleja y podría cambiar según la evolución del negocio, por lo que no puedes derivarla a mano.
Luego utilizas la Red Neuronal para construir una aproximación de $f$ que tenga una tasa de error aceptable para tu aplicación. Esto funciona, y la precisión puede ser arbitrariamente pequeña: puedes expandir la red, ajustar finamente sus parámetros de entrenamiento y obtener más datos hasta que la precisión alcance tus objetivos.
El problema de la caja negra es: La aproximación dada por la red neuronal no te dará ninguna idea sobre la forma de f. No hay una relación simple entre los pesos y la función que se está aproximando. Incluso el análisis de qué característica de entrada es irrelevante es un problema abierto (ver este enlace).
Además, desde un punto de vista de estadísticas tradicionales, una red neuronal es un modelo no identificable: Dado un conjunto de datos y una topología de red, puede haber dos redes neuronales con diferentes pesos pero exactamente el mismo resultado. Esto dificulta mucho el análisis.
Como ejemplo de modelos "no caja negra" o "modelos interpretables", tienes ecuaciones de regresión y árboles de decisión. El primero te da una aproximación en forma cerrada de f donde la importancia de cada elemento es explícita, el segundo es una descripción gráfica de algunos riesgos relativos/razones de momios.
Como esta es una respuesta antigua, puede ser útil proporcionar algunas herramientas recientemente desarrolladas: "La aproximación dada por la red neuronal no te dará ninguna idea sobre la forma de f" - Yo diría que ahora SHAP hace un gran trabajo explicando el modelo, incluso para redes neuronales. "Incluso el análisis de cuál característica de entrada es irrelevante es un problema abierto" - métodos como la importancia de permutación, así como SHAP, ahora abordan este problema bastante bien.
Google ha publicado Inception-v3. Es una red neuronal (NN) para algoritmo de clasificación de imágenes (distinguir un gato de un perro).
En el artículo hablan sobre el estado actual de la clasificación de imágenes
Por ejemplo, GoogleNet empleó solo 5 millones de parámetros, lo que representó una reducción de 12 veces con respecto a su predecesor AlexNet, que utilizaba 60 millones de parámetros. Además, VGGNet empleó aproximadamente 3 veces más parámetros que AlexNet
y básicamente por eso llamamos a las NN como cajas negras. Si entreno un modelo de clasificación de imágenes - con 10 millones de parámetros - y te lo entrego. ¿Qué puedes hacer con él?
Ciertamente puedes ejecutarlo y clasificar imágenes. ¡Funcionará genial! Pero no puedes responder ninguna de las siguientes preguntas estudiando todos los pesos, sesgos y la estructura de la red.
Puede que puedas responder a las preguntas solo ejecutando la NN y viendo el resultado (caja negra), pero no tienes la posibilidad de entender por qué se comporta de la manera en que lo hace en casos extremos.
Tal vez esto podría ayudar: http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
Este artículo intenta descubrir el mecanismo subyacente de las redes neuronales desde una perspectiva topológica, ofrece muchas ideas brillantes para explicar el rendimiento de las redes neuronales.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
1 votos
Tal vez esto ayude: colah.github.io/posts/2014-03-NN-Manifolds-Topology Este artículo trata de descubrir el mecanismo subyacente de las redes neuronales desde una perspectiva topológica, ofrece una gran cantidad de brillantes ideas para explicar el rendimiento de las redes neuronales.
0 votos
Me gusta agregar el punto a Jack, cuando miramos MLP en el punto de vista del aprendizaje automático, las redes neuronales ya no son una caja negra. Con una simple función sigmoide, deberíamos ser capaces de interpretar la relación de entrada y salida con una ecuación.
0 votos
Depende de la complejidad del modelo. Puedes tener redes neuronales simples que pueden considerarse modelos interpretables. Por lo general, en aplicaciones prácticas, son cajas negras porque, como han dicho otros, es bastante imposible obtener cualquier conocimiento sobre la función aprendida a partir de los parámetros. El gran número de parámetros y la típica no linealidad de las funciones de activación son las principales razones por las que esta tarea es prácticamente imposible. Un modelo de caja negra es un modelo que es extremadamente difícil o prácticamente imposible de interpretar.