Ella le enseñó los trucos del negocio.

Question

Después de haber utilizado el NETLAB biblioteca para MATLAB para implementar Bayesiano Multi-Capa de tipo perceptrón (MLP) redes neuronales usando MacKay evidencia del marco, ahora estoy experimentando con la Cadena de Markov Monte Carlo (MCMC) los métodos que utilizan metrop() y hmc(). ¿Alguien tiene algún consejo para el éxito de la modelación y uso de este enfoque (de preferencia con NETLAB), por ejemplo, cómo establecer los parámetros para obtener una buena mezcla y aceptablemente bajo el rechazo de ratios, etc?

Alguien ha utilizado el Metrpolois-Hastings o HMC samplers para aplicaciones de redes neuronales MLP? Estoy empezando a pensar que tal vez todo el mundo utiliza la evidencia marco!

Answer 1

Yo no tengo ninguna experiencia sobre Bayesianas, Redes Neuronales y HMC, pero con una tarea relacionada.

Que implicaba el uso de redes neuronales como un unormalized modelo de probabilidad (es decir, una energía basada en el modelo), donde la formación implicó la generación de "contrastivo/muestras negativas" del modelo de distribución a través de HMC. Supongo que el problema es algo similar, ya que ambos modelos comparten algunos factores.

(Más específicamente, ${\partial y \over \partial w}$ donde $w$ es la primera capa de pesos y $y$ la salida de la red. Bayesianas, redes neuronales tienen un $\partial L / \partial y$ delante, Ebm diferentes $\partial E / \partial y$ delante y un $\partial w / \partial x = w$ al final.)

Larga historia corta: para conseguir resultados decentes uso adaptativo paso tasas de alcanzar un deseado de la tasa de aceptación fue hacer una gran diferencia.

Usted puede encontrar el código aquí, pero es python. El enfoque se describe en "Aprendizaje Profundo Modelos de Energía", Ngiam et al y hay una nota de pie de página en la configuración exacta para HMC.