condicionamiento de las redes neuronales profundas

Question

¿Cuál es la mejor manera de hacer el acondicionamiento cuando se trabaja con redes neuronales profundas?

Por ejemplo, supongamos que queremos condicionar una VAE a la clase CVAE. Existen diferentes formas de añadir la clase a los datos. Consideremos el conjunto de datos MNIST ( https://en.wikipedia.org/wiki/MNIST_database ), puedes codificar en caliente la clase y luego proyectarla a 28x28 y añadirla es un canal adicional. Otra forma es añadir 10 nuevos canales cada uno de 28x28, donde los valores del canal de la clase de interés se establecen en 1, y todos los demás canales establecidos en 0.

¿Existe alguna práctica recomendada al respecto? ¿Quizás alguna teoría? He intentado buscar esto pero no he podido encontrar mucho. Todo lo que sé es que, por resultados empíricos, algunos enfoques funcionan mejor que otros.

Extra ¿Qué pasa si se quiere condicionar en algunas variables categóricas, por ejemplo, el mes o la semana para reforzar de alguna manera la estacionalidad? ¿Hay una mejor manera de hacer tal condicionamiento?

Tenga en cuenta No hay que confundir esto con el número de condicionamiento en el aprendizaje profundo, por ejemplo Aprendizaje profundo: El número de condiciones y el mal condicionamiento

Answer 1

Se trata sobre todo de ensayo y error, y también de lo grande que es el factor de condicionamiento. Por ejemplo, si se trata de una de las 10 categorías, está bien añadir 10 canales y mosaico de la condición de todo (haciendo la entrada 28x28x11). Sin embargo, si se trata de 1000 categorías, es probable que desee fusionar la condición mucho más tarde, tal vez en la capa de cuello de botella de la red.