Logística de entrada con ruido Gaussiano

Question

Tanto la función logística y la desviación estándar son generalmente denotado $\sigma$. Voy a usar las $\sigma(x) = 1/(1+\exp(-x))$ $s$ para la desviación estándar.

Tengo una logística de la neurona con una muestra aleatoria de entrada cuya media de $\mu$ y la desviación estándar $s$ sé. Espero que la diferencia de la media se puede aproximar así por algunos de ruido Gaussiano. Así que, con un ligero abuso de notación, suponga que se produce $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$. ¿Cuál es el valor esperado de $\sigma(N(\mu,s^2))$? La desviación estándar $s$ puede ser grande o pequeño en comparación con $\mu$ o $1$. Una buena forma cerrada aproximación para el valor esperado sería casi tan buena como la de una solución de forma cerrada.

Yo no creo que una forma cerrada de la solución existe. Esto puede ser visto como una convolución, y la característica de la función de la logística de la densidad se conoce ($\pi t ~\text{csch} ~\pi t$), pero no estoy seguro de lo mucho que ayuda. La inversa de la calculadora simbólica fue incapaz de reconocer la densidad en $0$ de la convolución de la logística de la distribución de la densidad y de una distribución normal estándar, lo que sugiere, pero no prueba que no es fácil de primaria integral. Más indicios: En algunos papeles sobre la adición de Gauss ruido de entrada a las redes neuronales con la logística de las neuronas, los papeles no dar la forma cerrada expresiones.

Esta pregunta surgió en un intento de comprender el error en la media de la aproximación de campo en Boltzman máquinas.

Answer 1

Lo siguiente es lo que terminé usando:

Escribir $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ donde $X \sim N(0,s^2)$. Podemos utilizar una expansión en series de Taylor.

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Hay convergencia. La función logística tiene un polo donde $\exp(-x) = -1$, por lo que en $x = k \pi i$, $k$ impar. La divergencia no es la misma cosa como el prefijo de ser inútil, pero esta serie aproximación puede ser poco fiable cuando se $P(|X| \gt \sqrt{\mu^2 + \pi^2})$ es significativo.

Desde $\sigma'(x) = \sigma(x) (1-\sigma(x))$, podemos escribir derivados de $\sigma(x)$ como polinomios en $\sigma(x)$. Por ejemplo, $\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$. Los coeficientes están relacionados con OEIS A028246.