Teoría de grupos en el aprendizaje automático

Question

Soy un investigador de Aprendizaje Automático al que le gustaría investigar las aplicaciones de la teoría de grupos en el ML.

Existe un término "Grupos Parcialmente Observados" en la teoría del aprendizaje automático que se ha popularizado por los trabajos recientes para entender el aprendizaje profundo. La idea es sencilla, en lugar de aprender una función de reconocimiento (imagen -> clase de objeto) , el cerebro está aprendiendo órbitas (imágenes -> órbita del objeto bajo la acción de un grupo).

Por ejemplo, todas las imágenes de una botella son proyecciones bidimensionales (por tanto, parcialmente observadas) de una imagen tridimensional en una órbita de una botella bajo la acción de un grupo (rotación o traslación).

Tengo dificultades para encontrar literatura relevante sobre distribuciones de probabilidad en elementos de grupos o incluso el concepto de grupos parcialmente observados. Esperaba que tal vez este sea un concepto bien desarrollado (en la física tal vez) por algún otro nombre. ¿Alguna sugerencia sobre trabajos relevantes? U otra literatura que deba leer para guiarme en esto.

Gracias por su tiempo.

aclaración :

La hipótesis que estoy explorando es que las representaciones aprendidas en las redes neuronales mediante el descenso de gradiente funcionan tan bien como lo hacen porque son invariantes de grupo. Así que la literatura sobre grupos de Lie es muy relevante.

Pero la configuración distintiva es que, dado que los elementos del grupo actúan como transformaciones en imágenes tridimensionales y que sólo vemos una proyección bidimensional de las imágenes tridimensionales, debemos definir distribuciones de probabilidad sobre el producto (objeto x elemento del grupo).

Por lo tanto, el problema está infradeterminado y las distribuciones sobre los elementos del grupo se hacen necesarias para describir lo que generó la imagen observada; muchos objetos pueden transformarse para producir imágenes muy similares. Pensé que podría haber un trabajo análogo realizado en física. Espero que esto aclare las cosas.

Answer 1

Sugiero echar un vistazo a la obra de Ulf Grenander. Su obra de 1963 libro sentó las bases para aplicar la teoría de la probabilidad a los grupos (el capítulo 4 trata de los grupos estocásticos de Lie) y a otras estructuras algebraicas. Continuó desarrollando estas ideas ( ver su libro posterior ) en el contexto del reconocimiento de patrones.

Sin duda hay trabajos más recientes en este ámbito (algunos de los cuales se mencionan en otras respuestas), pero Grenander lleva más de 40 años investigando estas ideas y merece la pena investigarlas.

Como apunte, el enfoque de Grenander parece ser un poco más formal que muchas de las investigaciones contemporáneas sobre aprendizaje automático, lo cual es un punto fuerte o débil según el gusto del lector.

Answer 2

Estas son algunas de las referencias teóricas del grupo dentro de la literatura del aprendizaje automático:

1. Eche un vistazo a los artículos recientes de Stéphane Mallat o el primer vistazo a la 2.
2. Esta charla del NIPS 2012 de Stéphane Mallat
3. Una perspectiva teórica de grupo del aprendizaje profundo
4. Algunos artículos de Risi Kondor y también su tesis ("Métodos teóricos de grupo en el aprendizaje automático")
5. Estadísticas direccionales --- entre otros, también cubre $O(n)$ (visto como un colector)

Hay varios más, pero creo que estos enlaces de arriba deberían proporcionar un buen comienzo.

Answer 3

Sin embargo, algunas relaciones más de la teoría de grupos con el aprendizaje automático:

Desde "Redes de Clebsch-Gordan: una red neuronal convolucional esférica en el espacio de Fourier Risi Kondor, Zhen Lin, Shubhendu Trivedi" :

Trabajos recientes de Cohen \emph {et al.} ha logrado el estado de la técnica para el aprendizaje de imágenes esféricas de forma invariable a la rotación mediante utilizando ideas de la teoría de la representación de grupos y de la análisis armónico no conmutativo. En este trabajo proponemos una generalización de este trabajo que, en general, muestra un rendimiento mejorado, pero que, desde el punto de vista de la de la implementación es en realidad más simple. Una característica inusual de la arquitectura propuesta es que utiliza la transformada Clebsch--Gordan de Clebsch-Gordan como única fuente de no linealidad, evitando así las repetidas repetidas transformaciones de Fourier hacia delante y hacia atrás. Las ideas subyacentes del generalizan a la construcción de redes neuronales que son invariantes a la acción de otros grupos compactos. la acción de otros grupos compactos.

Por lo que tengo entendido, las imágenes aquí se capturan con cámaras especiales de ángulo 360. Eso explica el origen del grupo de simetría rotacional. Así que puede que no sea una tecnología muy utilizada en la actualidad, sin embargo, es bastante interesante que los métodos de la teoría de grupos se puedan aplicar aquí.

---

En la tesis de R. Kondor mencionada en la respuesta de Suvrit. Uno de los temas es "el aprendizaje en el grupo simétrico", que de alguna manera está relacionado con el "problema de la clasificación", es decir, la ordenación de algunas respuestas / candidatos / lo que sea es cierto orden. El problema de encontrar una clasificación adecuada es el mismo que el de encontrar una permutación adecuada, así es como surge el grupo de permutación.

---

La medida de calidad más útil y utilizada en la práctica en los problemas de clasificación binaria es "AUC ROC" , que está estrechamente relacionado con la prueba estadística de Mann-Whitney. Que a su vez es, a grandes rasgos, lo mismo que el número de inversión de cierta permutación, que puede verse en el contexto más amplio de la métrica en el grupo simétrico (ver P. Diaconis "Group representations in probability and statistics, Chapter 6. Métricas sobre grupos, y su uso estadístico" y algunos comentarios en MO ).

Answer 4

Geoffrey Hinton Redes de cápsulas puede ser relevante. Las NN convolucionales son eficaces porque cada capa es invariable bajo traslaciones 2D; las NN de cápsula están diseñadas para ser invariables bajo transformaciones de grupo mucho más grandes.

Otra investigación relevante en los últimos dos años fue la de generalizar $\mathbb{R}^2$ convoluciones invariantes de $\mathbb{R}^2$ imágenes a $SO(3)$ invarianza de las imágenes esféricas. Sin embargo, no recuerdo la referencia.