derivada de sign() como función activa en la retropropagación

Question

Tengo la tarea de implementar el algoritmo de retropropagación para una red neuronal. Mi función de activación es sólo el signo(.).

$w^{\prime} = w + \space$ ritmo de aprendizaje $\space \times \delta \times \frac{df(e)}{de} \times$ entrada

Así que tengo que calcular $\frac{df(e)}{de}$ y no entiendo cómo calcular la derivada de la función sign().

¿Tienes alguna idea?

Answer 1

Formalmente, la derivada es $0$ en todas partes menos en el origen y es indefinido en el origen. Si se consideran las derivadas distributivas, la derivada es $2\delta$ donde $\delta$ es la distribución delta de Dirac.

Leer http://en.wikipedia.org/wiki/Sign_function para más información.