¿Por qué no se utiliza la función Step en las funciones de activación en el aprendizaje automático?

Question

Las funciones de activación que he visto en la práctica son sigmoides o tanh. ¿Por qué no se utiliza la función Step? ¿Qué tiene de malo usar una función Step en una función de activación para redes neuronales? ¿Cuáles son los efectos de usar la función Step? ¿De qué manera son sigmoides/tanh superiores sobre el paso?