```html <h1>Arquitectura de CNN</h1> ```

Question

En primer lugar, esta pregunta se trata menos sobre la programación en sí misma y más sobre la lógica detrás de la arquitectura de CNN. Entiendo cómo funciona cada capa, pero mi única pregunta es: ¿Tiene sentido separar la ReLU y la capa de convolución? Quiero decir, ¿Puede existir y funcionar una ConvLayer y actualizar sus pesos utilizando la retropropagación sin tener una ReLU detrás de ella?

Pensé que sí. Por eso creé las siguientes capas independientes:

1. ConvLayer
2. ReLU
3. Conexión total (Fully Connected)
4. Piscina (Pooling)
5. Transformación (transformar la salida 3D en una dimensión) para ConvLayer -> Fully Connected.

Estoy pensando en fusionar la Capa 1 y 2 en una sola. ¿Qué debería elegir?

Answer 1

Tiene sentido. La activación ReLU no siempre sigue a la capa de convolución. Por ejemplo, cuando se están utilizando redes residuales, es posible que desees tener ReLU antes de la convolución, no después. La razón es que se han obtenido buenos resultados al realizar el paso residual (adición) en la salida de la convolución en bruto (como se describe en http://florianmuellerklein.github.io/wRN_vs_pRN/).

Sin embargo, en la mayoría de los casos, el esquema se verá como lo describiste (Conv + ReLU) y no hay nada malo en fusionar el código para estos dos.