¿Es un RBM gaussiano-gaussiano sólo un modelo lineal?

Question

La configuración "convencional" de los RBMs son las unidades Binaria-Binaria y Gaussiana-Binaria (y a veces Binaria-Gaussiana).

Aunque es posible que tanto las unidades visibles como las ocultas sean gaussianas, ¿un RBM gaussiano-gaussiano no se asemejaría a un modelo lineal, puesto que ya no hay no linealidad en las unidades de la red? Por lo tanto, apilarlos no tendría el mismo beneficio que, por ejemplo, los RBM binarios-binarios. ¿Y cuando se usan para reducir la dimensionalidad, un simple PCA lograría mejores resultados?

¿Me estoy perdiendo algún punto importante en el entrenamiento de los RBMs o los RBMs gaussianos son así de limitados?

Answer 1

En primer lugar, observe que puede fijar la varianza de las unidades ocultas en 1, ya que la matriz de pesos las escalará arbitrariamente.

Entonces:

• Si se aprende la varianza de cada unidad visible, se obtiene el análisis factorial
• Si se empata la varianza de las unidades visibles, se obtiene es PPCA (de los datos degradados)
• Si se fija la varianza de las unidades visibles en un valor pequeño, se obtiene un PCA puro.

En los dos últimos casos, la matriz de pesos, $W$ corresponderá a los vectores propios principales de la matriz de correlación de datos, hasta una rotación.

Apilar varias capas no equivale a tener una capa mayor. La distribución de todas las unidades sigue siendo conjuntamente gaussiana, pero la conectividad restringe la matriz de covarianza a una determinada estructura.

Answer 2

Sí, con sólo las medias (sin las covarianzas) que se transmiten, es un modelo lineal. Los nodos gaussianos son útiles cuando representan entradas gaussianas. No creo que sean útiles como variables latentes.