La comprensión de convolucional redes neuronales

Question

Estoy tratando de entender la convolución parte de convolucional redes neuronales. Busca en la siguiente figura:

Yo no tengo ningún problema en comprender la primera de convolución de la capa donde tenemos 4 diferentes núcleos (de tamaño $k \times k$), lo que nos convolución con la imagen de entrada para obtener los 4 mapas de características.

Lo que no entiendo es la siguiente convolución de la capa, donde vamos a partir de 4 mapas de características a 6 mapas de características. Supongo que hemos de 6 núcleos en esta capa (con el consiguiente dar 6 salida de los mapas de características), pero, ¿cómo estos núcleos de trabajo en los 4 mapas de características se muestra en la C1? Son los núcleos de 3 dimensiones, o son de 2 dimensiones y replica a través de las 4 características de entrada de los mapas?

Answer 1

Los granos son de 3 dimensiones, donde el ancho y la altura puede ser elegido, mientras que la profundidad es igual al número de mapas en la capa de entrada - en general.

Ciertamente no son de 2 dimensiones y replica a través de la función de entrada de mapas en la misma posición en 2D! Eso significaría un núcleo no sería capaz de distinguir entre sus características de entrada en un determinado lugar, ya que el uso de uno y el mismo peso a través de la función de entrada de los mapas!

Answer 2

No hay una correspondencia uno a uno entre las capas y los núcleos necesariamente. Que depende de la arquitectura en particular. La figura que ha publicado sugiere que en el S2 capas tiene 6 mapas de características, cada una combinación de todos los mapas de características de las capas anteriores, es decir, diferentes combinaciones posibles de las características.

Sin más referencias no puedo decir mucho más. Ver por ejemplo este artículo

Answer 3

La tabla 1 y en la Sección 2a de Yann LeCun del "Gradiente de Aprendizaje Aplicado al Documento de Reconocimiento", explica muy bien: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf No todas las regiones de la 5x5 de convolución se utilizan para generar la 2ª convolucional de la capa.

Answer 4

Este artículo puede ser útil: la Comprensión de la Convolución en el Aprendizaje Profundo por Tim Dettmers de 26 de Marzo de

La verdad es que no responde a la pregunta, porque explica sólo la primera de convolución de la capa, pero contiene una buena explicación de la intuición básica acerca de convolución en CNNs. También describe más profunda de la definición matemática de la convolución. Creo que está relacionado con el tema.