Red neuronal convolucional - Uso del absoluto de tanh en la salida de la convolución

Question

He visto una conferencia en línea sobre la CNN ( https://www.youtube.com/watch?v=wORlSgx0hZY ) que me confundió un poco. Aproximadamente a las 8:35 de la conferencia se dijo que es importante utilizar el valor absoluto de la función tanh en la salida de la capa convolucional. Nunca había oído eso antes y no puedo entenderlo basándome en la conferencia. ¿Alguien puede ampliarlo?

La conferencia lo relaciona con el hecho de que "la polaridad de los rasgos suele ser irrelevante para reconocer los objetos" y "la rectificación elimina las cancelaciones entre las salidas de los filtros vecinos cuando se combina con la agrupación de promedios".

Adjunto un extracto de la diapositiva utilizada en la conferencia:

Answer 1

Cuando se trata de reconocer objetos, bordes, etc., los algoritmos suelen buscar la desviación de los elementos cercanos o sumados/promediados. La desviación puede ser negativa o positiva, pero en la mayoría de los casos se trata de un "reconocimiento" independientemente de la polaridad. Los algoritmos imparten la polaridad debido a las matemáticas, pero a la interpretación no le importa si es una desviación hacia arriba o hacia abajo.

Sin embargo, algunos filtros y algoritmos sí llevan información en la polaridad. Si combina uno en el que la polaridad importa con otro en el que la polaridad no importa, entonces querrá estar seguro de que está añadiendo un "reconocimiento" de forma adecuada, para que el filtro se aumente de forma apropiada y no se empuje inapropiadamente más negativo o más positivo.