Casos modernos de uso de las máquinas de Boltzmann restringidas (RBM)?

Question

Antecedentes: Gran parte de la investigación moderna de los últimos ~4 años (post alexnet ) parece haberse alejado del uso del preentrenamiento generativo de las redes neuronales para lograr resultados de clasificación punteros.

Por ejemplo, los primeros resultados para mnist aquí sólo 2 de los 50 primeros artículos parecen utilizar modelos generativos, y ambos son RBM. Los otros 48 trabajos premiados se refieren a diferentes arquitecturas discriminatorias feed forward, con un gran esfuerzo por encontrar inicializaciones de pesos y funciones de activación mejores o novedosas, distintas de la sigmoidea utilizada en los RBM y en muchas redes neuronales antiguas.

Pregunta: ¿Hay alguna razón moderna para seguir utilizando máquinas de Boltzmann restringidas?

Si no es así, ¿hay alguna modificación de facto que se pueda aplicar a estas arquitecturas feed forward para hacer que cualquiera de sus capas sea generativa?

Motivación: Lo pregunto porque algunos de los modelos que veo disponibles, normalmente variantes del RBM, no tienen necesariamente homólogos discriminativos análogos obvios a estas capas/modelos generativos, y viceversa. Por ejemplo:

• mcRBM

• ssRBM

• CRBM (aunque se podría argumentar que la CNN utilizaba arquitecturas feed forward es la arquitectura análoga discriminativa)

Además, estos eran claramente pre alexnet también, de 2010, 2011 y 2009 respectivamente.

Answer 1

Se trata de una pregunta un poco antigua, pero dado que se pregunta esencialmente por las "mejores prácticas", más que por lo que es realmente posible desde el punto de vista técnico (es decir, que no necesita demasiado enfoque de investigación), las mejores prácticas actuales son algo así:

• En la actualidad no se utilizan normalmente los mecanismos de encuadernación con anillas
• en la medida de lo posible, se utilizan modelos lineales (regresión lineal, regresión logística)
• redes feed-forward profundas con capas tales como capas de conexión completa, capas convolucionales y algún tipo de capas de regularización, tales como dropout y últimamente normalización por lotes.
• Por supuesto, con capas de activación intermedias, normalmente ReLU, pero también se utilizan tanh y sigmoide.
• y probablemente algunas agrupaciones máximas (no siempre: también se utilizan agrupaciones medias y otras)

Para los usos generativos, las técnicas más comunes incluyen:

• GAN y sus miles de variantes, http://www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• autocodificadores, pero últimamente tienden a ser sustituidos por:
  • autocodificadores variacionales, VAE, https://arxiv.org/abs/1312.6114
  • CNN generativas, wavenet: https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNNs, por ejemplo seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

Answer 2

Hace poco encontré este documento sobre "Boltzmann Encoded Adversarial Machines" que integra RBMs con CNNs como modelo generativo.

Los autores demuestran que es matemáticamente "mejor" en algunos aspectos, y muestran algunos ejemplos de juguete en los que BEAM parece mucho más capaz de aprender con precisión la distribución de los datos en comparación con otros modelos GAN.

La prueba comparativa del "mundo real" de las caras de CelebA fue mucho menos impresionante: no está claro que BEAM lo haga mejor o incluso tan bien como otros GAN populares. Sin embargo, el uso de RBM en este entorno es ciertamente interesante.