Todos los libros de texto que he visto hasta ahora describen los algoritmos de ML y cómo implementarlos.
¿Existe también un libro de texto que construya teoremas y pruebas para el comportamiento de esos algoritmos? Por ejemplo, que declare que bajo condiciones $x,y,z$ el descenso por gradiente siempre conducirá a $A,B,C$ ?
Fundamentos del aprendizaje automático de Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar, es un libro de 2012 sobre la teoría del aprendizaje automático.
Comprender el aprendizaje automático: De la teoría a los algoritmos El libro de Shai Shalev-Shwartz y Shai Ben-David, de 2014, es bastante conocido y está más orientado a la introducción que el de Mohri/Rostamizadeh/Talwalkar, pero también contiene mucha teoría. Está disponible gratuitamente en línea.
Aprendizaje de redes neuronales: Fundamentos teóricos de Martin Anthony y Peter Bartlett, es un libro de 1999 sobre la teoría del ML que se presenta como si fuera sobre las redes neuronales, pero (según mi impresión al no haberlo leído) trata sobre todo de la teoría del ML en general.
Estos tres libros adoptan en su mayoría el punto de vista predominante de la teoría del aprendizaje estadístico. También hay un punto de vista interesante llamado computacional teoría del aprendizaje, inspirada más bien en la teoría de la informática. Creo que el libro introductorio estándar en esta área es Introducción a la teoría del aprendizaje computacional un libro de 1994 de Michael Kearns y Umesh Vazirani.
Otro libro excelente y a menudo recomendado de libre acceso es la segunda edición de 2009 de Trevor Hastie, Robert Tibshirani y Jerome Friedman de Los elementos del aprendizaje estadístico . Es quizás un poco menos teórico que los otros, y más desde el punto de vista del estadístico que del aprendiz de máquina, pero sigue teniendo mucho interés.
Además, si te interesa el descenso de gradiente en particular, la referencia estándar es Optimización convexa por Stephen Boyd y Lieven Vandenberghe. Este libro de 2004 está disponible gratuitamente en línea.
Ninguno de estos libros contiene mucho sobre la teoría moderna de las redes profundas, si eso es lo que te interesa. (Por ejemplo, la mayor parte de la teoría de optimización tratará sobre casos convexos, que las redes profundas decididamente no son). Esto se debe a que esta teoría es muy nueva; la mayor parte de los resultados se han obtenido en los últimos años, y todavía se está descifrando. Pero, como visión general de la comprensión básica del campo hasta el momento, cualquiera de ellos te preparará bien para entender los artículos en los que se realiza ese trabajo (excepto quizás Kearns/Vazirani, que se centra en diferentes aspectos del análisis que no estoy seguro de que se hayan aplicado con éxito a las redes profundas, todavía).
Aprendizaje automático: una perspectiva probabilística de Kevin P. Murphy explica mucha teoría desde una perspectiva bayesiana (sólo lo he utilizado para la regresión logística, pero me pareció bastante bueno). El libro completo está disponible en línea como PDF buscando en Google.
Además de esto,
Diseño de redes neuronales (Martin T. Hagan, Howard B. Demuth, Mark Hudson Beale, Orlando De Jesús) tiene una buena discusión sobre la optimización en el contexto de las redes neuronales.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
1 votos
Hay un par de sugerencias en mi pregunta aquí . En particular, podría disfrutar del libro que recomiendo en mi respuesta.
0 votos
Muchos libros de texto de optimización proporcionan pruebas de convergencia para los algoritmos de optimización. (Tenemos que comprobar cuidadosamente que las hipótesis de estos teoremas de convergencia se satisfacen antes de sacar cualquier conclusión firme de que nuestro algoritmo tiene garantizada la convergencia).