¿Cómo ' profundo ' es profunda para codificadores de auto aprendizaje profundo?

Question

Actualmente estoy trate de utilizar el auto-codificadores basados en aprendizaje profundo para mi problema de clasificación. He encontrado algunos muy bonitos ejemplos de Matlab página web auto-codificadores ejemplo.

1. En este ejemplo, se utiliza 2 auto-codificadores de capas y una softmax capa (véase la siguiente figura). Será el aprendizaje profundo de la comunidad de considerar esta estructura como una 'profunda' o aún un 'superficial' de la red? Me pregunto porque a mí me parece que en los últimos literaturas, hay muchos profundo de redes contiene >10 capas.

2. ¿Puedo preguntarle si, en general, "más profundo" red va a producir una mejor clasificación? O si hay algún truco para mejorar el rendimiento de la clasificación para la auto-codificadores?

Muchas gracias. A.

Answer 1

Una de la dos-capa de red neuronal es a menudo considerado como un "aprendizaje profundo", pero no es especialmente profunda. El 19 de capa de VGG-19 modelo es, sin duda profundo. Es un continuo, y cómo muchas capas de su modelo debe tener es una función compleja de lo mucho que los datos de entrenamiento que tiene, cómo poder optimizar lo que son, y lo difícil que sea el problema.

Con profundo de las redes, no son dos problemas distintos:

1. ¿Existe una red con la arquitectura estoy pensando que puede solucionar mi problema?
2. Voy a ser capaz de encontrar la red con las típicas técnicas de optimización de la vista de los datos que tengo?

En términos generales, a hacer una red más profundo hace problema 1 fácil, pero en el problema 2 más difícil. Todavía hablando de manera muy general, un 20-capa profunda de la red puede hacer cualquier cosa que un 2-en la capa uno puede y más, pero dada su limitada de datos de entrenamiento y el tiempo para ejecutar el procedimiento de optimización para entrenar, usted puede ser capaz de encontrar un buen 2-capa de red relativamente rápido, mientras que el 20-capa de red es sólo forcejeo alrededor.

O si hay algún truco para mejorar el rendimiento de la clasificación para la auto-codificadores?

Esto es demasiado amplio, una pregunta para este formato.

Answer 2

"" Es un término de marketing: por lo tanto se puede utilizar siempre que lo necesite comercializar su red neuronal multicapa.

Más: Número mínimo de capas en una red neural profunda

Answer 3

De acuerdo con @Franck Dernoncourt, creo que "profunda" o "no profunda" no importa. Lo que importa es que si este modelo trabaja en su tarea. Por ejemplo, en el procesamiento de lenguaje natural, modelado una frase generalmente utiliza solamente una capa convolucional mientras en reconocimiento de imágenes, utilizan capas 1 mil. Sin embargo puede no simplemente aplicar más capas en diferentes tareas.