¿Cuáles son los mejores libros para estudiar las redes neuronales desde una perspectiva puramente matemática?

Question

Estoy buscando un libro que recorra los aspectos matemáticos de las redes neuronales, desde el simple paso hacia adelante del perceptrón multicapa en forma matricial o la diferenciación de las funciones de activación, hasta la retropropagación en las CNN o RNN (por mencionar algunos de los temas).

¿Conoces algún libro que profundice en esta teoría? He echado un vistazo a un par (como Pattern Recognition and Machine Learning de Bishop) pero aún no he encontrado uno riguroso (con ejercicios sería un plus). ¿Tienes alguna sugerencia?

Answer 1

Yo recomendaría Aprendizaje profundo por Goodfellow, Bengio y Courville. No sé si lo llamaría "puramente matemático", pero cubre una buena cantidad de antecedentes matemáticos en los primeros capítulos. Sin embargo, no hay ejercicios.

Answer 2

Para los MLP, hay una derivación rigurosa en el libro de texto de optimización de Edwin Chong y Zak. Aunque es una notación pesada como todo lo relacionado con las redes neuronales debe ser.

Por alguna razón, este libro está disponible gratuitamente en Internet. Véase la página 219 de https://eng.uok.ac.ir/mfathi/Courses/Advanced%20Eng%20Math/An%20Introduction%20to%20Optimization-%20E.%20Chong,%20S.%20Zak.pdf

Creo que esencialmente no existe ningún buen libro de texto matemático sobre redes neuronales convolucionales o RNN. La gente se limita a basar su intuición en los MLP. Pero no es difícil crear una derivación matemáticamente rigurosa de la propagación hacia delante y hacia atrás de las CNN o RNN.

Answer 3

Gilbert Strang (de las clases de álgebra lineal del MIT OCW y Introducción al álgebra lineal fame) tiene un nuevo libro de texto sobre álgebra lineal para el aprendizaje profundo, Álgebra lineal y aprendizaje a partir de datos .

Tiene un curso decente de álgebra lineal, algo de estadística y optimización, el cálculo necesario para el descenso de gradiente estocástico, y luego lo aplica todo a los modelos de redes neuronales.

Answer 4

Uno de mis libros favoritos sobre aspectos teóricos de las redes neuronales es el de Anthony y Bartlett: " Aprendizaje con redes neuronales Fundamentos teóricos ".

Este libro estudia las redes neuronales en el contexto de la teoría del aprendizaje estadístico. Encontrará un montón de estimaciones de las dimensiones de la CV de los conjuntos de redes y todas esas cosas divertidas.

Debo decir que este libro no entra en detalles sobre las CNN y las RNN.

Answer 5

Este campo está en su fase inicial. No hay demasiados materiales para los amantes de las "matemáticas puras". Tal vez quieras echar un vistazo al curso STAT581 de Stanford (Theories of Deep Learning).