¿Cómo hacen las unidades ocultas de una máquina de Boltzmann para aplicar esta restricción de paridad?

Question

En el documento de Ackley y Hinton "Un algoritmo de aprendizaje para las máquinas de Boltzmann" escriben que

Se necesitaría una unidad oculta, por ejemplo, si el entorno exigiera que los estados de tres unidades visibles tengan una paridad uniforme, una regularidad que no se puede imponer sólo con las interacciones interacciones por pares.

¿Podría alguien explicar cómo una unidad oculta hace cumplir esta restricción de paridad? Me cuesta ver cuál sería la estructura y los pesos de la red. (En general, veo intuitivamente por qué las unidades ocultas añaden potencia, pero no tengo una comprensión rigurosa).

Answer 1

Hay cuatro estados permitidos de las unidades visibles que tienen paridad: [000] [110] [101] [011].

Una forma sencilla (aunque costosa) de hacer cumplir esta restricción sería tener 4 unidades ocultas que correspondan a estos cuatro estados permitidos. La primera unidad tiene pesos [---] para las unidades visibles, la segunda-cuarta tienen pesos [++-], [+-+] y [-++], respectivamente. Si una unidad oculta se enciende, obliga (a través de sus pesos) a que la red adopte el estado correspondiente. (Podrías utilizar pesos inhibidores fuertes entre las unidades ocultas para asegurar que sólo una unidad oculta esté encendida a la vez).