Ajuste de redes neuronales con optimización bayesiana - Número y tamaño de las capas

Question

Me gustaría utilizar la optimización bayesiana para afinar los hiperparámetros de una red neuronal feed-forward.

Entre estos hiperparámetros, se encuentra el número de capas ocultas de la red, así como el número de nodos de cada capa. La cuestión es que el número de hiperparámetros depende del valor elegido para el número de capas. Por ejemplo, con una sola capa oculta, sólo hay un parámetro para el número de nodos. Con cinco capas ocultas, hay que elegir cinco números de nodos.

¿Hay alguna manera inteligente de manejar esto? ¿O tengo que elegir entre optimizar el número de capas con un tamaño de capa fijo y optimizar el número de nodos en cada capa con un número de capas fijo?

Answer 1

Recientemente, he visto un artículo en arXiv Búsqueda de arquitectura neuronal con optimización bayesiana y transporte óptimo .

El autor lo utiliza para explorar las DNN y las CNN creando un espacio pseudométrico compuesto por redes neuronales mediante el transporte óptimo. No creo que responda exactamente a tu pregunta, pero puede ser útil para que diseñes un espacio/heurística para compensar la optimización del número de capas o nodos en cada capa.