Red de creencia profunda (número de capas)

Question

Así que tenemos "varios RBM"

Red de creencias profundas

A deep belief network is obtained by stacking several RBMs on top of each
other. The hidden layer of the RBM at layer `i` becomes the input of the
RBM at layer `i+1`. The first layer RBM gets as input the input of the
network, and the hidden layer of the last RBM represents the output. When
used for classification, the DBN is treated as a MLP, by adding a logistic
regression layer on top.

¿pero por qué más RBM no significa mejor? ¿Cómo determinar el mejor número de capas?

Parece que está relacionado: La red de creencia profunda se comporta peor que un simple MLP

Answer 1

No he hecho la prueba yo mismo, pero según Hinton et al (2006) de hecho, más RBMs deberían ser siempre mejores* ya que otro RBM siempre aumenta el límite inferior de la probabilidad de que los datos de entrenamiento puedan ser reproducidos.

*La excepción a esto es cuando un RBM tiene tantas o más unidades visibles como el RBM antes de tener capas ocultas, ya que entonces las posibilidades de aprender simplemente la función de identificación aumentan. Por ejemplo, si tiene una entrada de dimensión 1000, entonces siempre debería obtener un aumento en el rendimiento predictivo si sus siguientes capas son 700, 500, 200, etc. hasta el punto en el que la salida del último RBM coincida con la "verdadera" dimensionalidad de la variación en los datos, lo cual es una cuestión de experimentación o experiencia.