¿Son modelos gráficos y Boltzmann máquinas relacionadas matemáticamente?

Question

Mientras que en realidad he hecho algo de programación con máquinas de Boltzmann en una clase de física, no estoy familiarizado con su caracterización teórica. En contraste, sé que una pequeña cantidad sobre la teoría de los modelos gráficos (sobre los primeros capítulos de Lauritzen el libro de los Modelos Gráficos).

Pregunta: ¿hay alguna relación significativa entre los modelos gráficos y la máquina de Boltzmann? Es la máquina de Boltzmann un tipo de modelo gráfico?

Obviamente la máquina de Boltzmann es un tipo de red neuronal. He escuchado que algunas redes neuronales están matemáticamente relacionadas con la gráfica de los modelos y que algunos no lo son.

Preguntas relacionadas con CrossValidated que no responde a mi pregunta:
Esto es similar a una pregunta anterior que ha sido preguntado antes: ¿Cuál es la relación entre los modelos jerárquicos, redes neuronales, modelos gráficos, redes bayesianas? pero es más específico.

Por otra parte, la aceptación de la respuesta a esa pregunta no aclarar mi confusión-incluso si los nodos en el estándar de representación gráfica de una red neuronal no representan variables aleatorias, que no significa necesariamente que no existe representación. En concreto, estoy pensando acerca de cómo los nodos en la típica representación gráfica de las cadenas de Markov representan el conjunto de estados posibles en lugar de las variables aleatorias $X_i$, pero también se podría crear un gráfico que muestra la condición de dependencia de las relaciones entre el $X_i$, lo que muestra que cada cadena de Markov es en realidad un campo aleatorio de Markov. La respuesta también se dice que las redes neuronales (presumiblemente incluyendo máquinas de Boltzmann) son "discriminatorias", pero no entra en más detalle a explicar lo que dicen los medios, ni la obvia pregunta de seguimiento "son modelos gráficos no discriminativo?" dirigida. Asimismo, la aceptación de la respuesta enlaces a Kevin Murphy, del sitio web (de hecho, leí algunas de sus tesis de Doctorado, cuando se enteraron de las redes Bayesianas), pero este sitio web describe sólo las redes Bayesianas y no hace mención de las redes neuronales en absoluto, así que no se ilumina cómo son diferentes.

Esta otra pregunta es, probablemente, la más similar a la mía: Matemáticamente el modelado de redes neuronales como modelos gráficos sin Embargo, ninguna de las respuestas fueron aceptadas, y del mismo modo, sólo dar referencias, pero no explican las referencias (por ejemplo, esta respuesta). Mientras que un día yo espero ser capaz de entender las referencias, ahora mismo estoy en un nivel básico de conocimiento y de la mayoría de apreciar una respuesta que es lo más simplificado posible. También, el Toronto curso vinculado a la respuesta (http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml) direcciones de este, pero no en mucho detalle. Además, las notas de la conferencia que podría responder a mi pregunta no están disponibles para el público.

El 25 de marzo de Lección 13: la Creencia en las Redes 7:43. Para esta diapositiva, tenga en mente Máquinas de Boltzmann. Allí, también, contamos con unidades ocultas y visible de unidad, y de todo probabilística. BMs y SBNs tienen más en común de lo que tienen diferencias. 9:16. Hoy en día, "los Modelos Gráficos" son a veces considerados como una categoría especial de las redes neuronales, pero en la historia que se describe aquí, se han considerado de muy diferentes tipos de sistemas.

Answer 1

Las máquinas de Boltzmann vs restringido máquinas de Boltzmann

AFAIK las máquinas de Boltzmann es un tipo de gráfico de modelo, y el modelo que está relacionado con las redes neuronales es el restringido máquinas de Boltzmann (RBM).

La diferencia entre las máquinas de Boltzmann y restringido máquinas de Boltzmann, desde el libro de Aprendizaje de la Máquina Una Perspectiva Probabilística

Rbm vs neural netowrks

Para la Rbm (ref: Una Guía Práctica para la Formación Restringido Máquinas de Boltzmann por Geoffrey Hinton) $$p(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp(\sum a_iv_i+\sum b_jh_j + \sum v_ih_jw_{ij})$$ $$p(h_j=1|\mathbf{v})=\sigma(b_j+\sum v_iw_{ij})$$ $$p(v_i=1|\mathbf{h})=\sigma(a_i+\sum h_jw_{ij})$$ donde $\mathbf{v}$ $\mathbf{h}$ corresponden a la visible y unidades ocultos en la figura de arriba, y $\sigma()$ es la función Sigmoidea.

Las probabilidades condicionales se calcula en la misma forma de las capas de red, por lo que la formación de los pesos de la Rbm se pueden utilizar directamente como los pesos de las redes neuronales o como punto de partida de la formación.

Creo que la gestión por resultados en sí es más de un modelo gráfico de un tipo de red neuronal, ya que es no dirigido, que tiene bien definidos los condicional independencies, y utiliza sus propios algoritmos de entrenamiento (por ejemplo, contrastivo de la divergencia).