En el aprendizaje automático mediante redes neuronales , sigmoide se utilizan a menudo para imitar la dinámica de la plasticidad de las neuronas biológicas. A menudo se desean sigmoides con una curva suave, las propiedades estrictamente exigidas a estas funciones suelen ser:
$$f(x+x_0) > f(x), \forall x \in \mathbb R\\\lim_{x\to -\infty} f(x) = -1\\\lim_{x\to \infty} f(x) = 1$$
Sin embargo, mientras tengamos $f' = \frac{\partial f}{\partial x} \geq 0, \forall x\in \mathbb R$ esto debería seguir cumpliéndose.
Así que asumiendo que tenemos un par $f, f'$ Cumpliendo con las limitaciones anteriores, ¿existe algún método general que podamos aplicar para que periódicamente (sobre $t$ ) "ralentizar" el aprendizaje,
Obra propia
Hasta ahora, he pensado, por ejemplo, en algo así:
$${f_1}'(t) = (\sin(kx)^{2n}+\epsilon){f_1}'(t)\cdot$$
Es obvio para mí que satisfará los requisitos anteriores, tal vez con alguna renormalización de la integral de $f'$ requerida. Pero en general parece una modificación difícil por la dificultad de hacer una integración analítica. ¿Hay alguna modificación más inteligente que podamos hacer a un $f$ o $f'$ que siempre da un $f'$ para lo cual $f$ es fácil de calcular y siempre satisface las condiciones anteriores?
