Modelos icónicos (de juguete) de redes neuronales

Question

Mis profesores de física en la licenciatura, así como el premio Nobel Feynman, siempre presentaban lo que llamaban modelos de juguete para ilustrar conceptos y métodos básicos de la física, como el oscilador armónico, el péndulo, la peonza y la caja negra.

¿Qué modelos de juguete se utilizan para ilustrar los conceptos y métodos básicos que subyacen a la aplicación de las redes neuronales? (Facilite referencias).

Por modelo de juguete me refiero a una red especialmente sencilla y de tamaño mínimo aplicada a un problema muy restringido, a través de la cual se pueden presentar los métodos básicos y comprobar y mejorar la comprensión a través de la aplicación real, es decir, construyendo el código básico y, preferiblemente, hasta cierto punto, haciendo/comprobando los cálculos básicos a mano o con la ayuda de una aplicación de matemáticas simbólicas.

Answer 1

Uno de los más clásicos es el Perceptrón en 2 dimensiones, que se remonta a la década de 1950. Es un buen ejemplo porque sirve de plataforma de lanzamiento para técnicas más modernas:

1) No todo es linealmente separable (de ahí la necesidad de activaciones no lineales o métodos kernel, capas múltiples, etc.).

2) El perceptrón no convergerá si los datos no son linealmente separables (medidas continuas de separación como softmax, decaimiento de la tasa de aprendizaje, etc.).

3) Aunque existen infinitas soluciones para dividir los datos, está claro que algunas son más deseadas que otras (separación de límites máxima, SVM, etc.)

Para las redes neuronales multicapa, puede que le gusten los ejemplos de clasificación de juguete que vienen con esto visualización .

Para las redes neuronales convolucionales, el MNIST es el patrón oro clásico, con una bonita visualización aquí y aquí .

Para las RNN, un problema realmente sencillo que pueden resolver es suma binaria que requiere memorizar 4 patrones.

Answer 2

1. El problema XOR es probablemente el problema canónico de juguete de la RNA.

   Richard Bland Junio de 1998 Universidad de Stirling, Departamento de Ciencias de la Computación y Matemáticas Informe técnico de ciencias de la computación " Aprendizaje de XOR: exploración del espacio de un problema clásico "

2. Les Campo de juegos TensorFlow es una interfaz interactiva con varias redes neuronales de juguete, como XOR y Jellyroll.

3. El cálculo del mayor valor propio de una matriz simétrica de tamaño fijo (2x2 o 3x3) es uno de los que utilizo en las demostraciones de clase.

   A. Cichocki y R. Unbehauen. " Redes neuronales para calcular valores y vectores propios " Cibernética biológica Diciembre de 1992, Volumen 68, Número 2, pp 155-164

Los problemas como MNIST son definitivamente canónicos, pero no son fáciles de verificar a mano, a menos que se disponga de mucho tiempo libre. El código tampoco es especialmente básico.

En cuanto a las tareas de PNL, el Penn Tree Bank es un conjunto de datos de referencia muy estándar, utilizado por ejemplo en Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Regularización de redes neuronales recurrentes y probablemente cientos de otros documentos.