¿Cuáles son las ventajas de las capas FC sobre las capas Conv?

Question

Estoy tratando de pensar en escenarios donde una capa completamente conectada (FC) es una mejor elección que una capa de convolución.

¿En términos de complejidad temporal, son iguales?

Sé que la convolución puede representar una mayor variedad de características, ¿entonces cuándo preferiría uno usar una capa FC?

Answer 1

La fortaleza de las capas convolucionales sobre las capas completamente conectadas es precisamente que representan un rango más estrecho de características que las capas completamente conectadas. Una neurona en una capa totalmente conectada está conectada a cada neurona en la capa precedente, por lo que puede cambiar si alguna de las neuronas de la capa precedente cambia. Sin embargo, una neurona en una capa convolucional solo está conectada a neuronas "cercanas" de la capa precedente dentro del ancho del kernel convolucional. Como resultado, las neuronas de una capa convolucional pueden representar un rango más estrecho de características en el sentido de que la activación de cualquier neurona es insensible a las activaciones de la mayoría de las neuronas de la capa anterior.

Restringir el rango de características de esta manera puede ser útil en casos donde esperamos que la mayor parte de la información sea local. En la clasificación de imágenes, por ejemplo, un pájaro se verá como un pájaro basado en los píxeles en la ubicación del pájaro, independientemente de su ubicación en la imagen y independientemente de si también hay un automóvil en otra parte de la imagen. La utilidad de esta expectativa previa se ve reflejada en la observación de que incluso CNNs con pesos totalmente aleatorios proporcionan características que son casi tan útiles para la clasificación como CNNs completamente entrenadas.

Answer 2

Como se menciona en el artículo de wiki, las capas convolucionales están optimizadas para parámetros invariantes ante la traslación, como las intensidades de píxeles en imágenes y videos. Si tus parámetros representan una muestra discreta de una variable continua, como el espacio o el tiempo, entonces la invarianza traslacional significa que cada ventana de los parámetros (como una porción de 10x10 píxeles de la imagen) es en cierta medida similar a cualquier otra y se beneficia al ser preprocesada (filtrada) de la misma manera. En este caso, puedes seleccionar una capa convolucional, y al hacerlo, imponer tu conocimiento sobre las simetrías de este mundo en tu red neuronal.

Por otro lado, si tienes un conjunto de parámetros de entrada cuyos índices no están relacionados con su significado (por ejemplo, params=[temperatura, presión, volumen, intensidad, brillo, ...]), entonces casi con seguridad no son invariantes ante la traslación, las suposiciones intrínsecas de la capa de convolución no se cumplen, y solo es perjudicial usarla.