Cuál es la derivada de la función de activación ReLU definida como:
$$ \mathrm{ReLU}(x) = \mathrm{max}(0, x)$$
¿Qué pasa con el caso especial en el que hay una discontinuidad en la función en $x=0$ ?
El derivado es:
$$ f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases} $$
Y sin definir en $x=0$ .
El motivo por el que no está definido en $x=0$ es que su izquierda y derivado del derecho no son iguales.
Por tanto, en la práctica (aplicación), basta con elegir entre $0$ o $1$ para la $x=0$ ¿Caso?
@TomHale por cierto, vea la respuesta de Nouroz Rahman en quora.com/ : "[...] En mi opinión, en las funciones de biblioteca incorporadas (por ejemplo: tf.nn.relu() ) derivada en x = 0 se toma cero para asegurar una matriz más dispersa..."
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
