¿Hay algún documento de referencia(s) que le dan una lista completa de las funciones de activación en redes neuronales, junto con sus pros/contras y lo ideal sería que algunos de los punteros a las publicaciones donde fueron exitosos o no tan exitoso)?
Respuesta
¿Demasiados anuncios?
marcodena
Puntos
170
No creo que una lista con los pros y los contras existe. Las funciones de activación son altamente dependientes de la aplicación, y que depende también de la arquitectura de la red neuronal (aquí , por ejemplo, vea la aplicación de dos softmax funciones, que son similares a los de colon sigmoide).
Usted puede encontrar algunos estudios sobre el comportamiento general de las funciones, pero creo que nunca se han definido y definitivo de la lista (lo que pida...).
Todavía soy un estudiante, así que punto lo que sabemos hasta ahora:
- aquí encontrará algunas ideas acerca de los comportamientos de los tanh y sigmoids con retropropagación. Tanh son más genéricos, pero sigmoids... (habrá siempre un "pero")
- En Profundidad Escasa Rectificador de Redes Neuronales de Glorot Xavier et al, afirman que la Rectificador unidades son biológicamente más plausible y rinden mejor que los demás (sigmoide/tanh)
