6 votos

Correlación entre dos nodos de una sola capa MLP para entrada de empalme Gaussian

Digamos que usted tiene una conjunta de gauss vector de la variable aleatoria $\mathbf{x}$, con una media de $\mathbf{M}$ y la covarianza $\mathbf{S}$. Ahora me transformar cada escalar elemento de $\mathbf{x}$ , decir $x_j$, con una sigmoide:

$$y_j = 1/(1+\exp(-x_j))$$

Estoy interesado en la expectativa entre dos variables $y_j$ $y_j'$ de la distribución resultante, que es

$$E\{y_j y_j'\}$$

donde $E\{\}$ es la expectativa de operador. Nota:

  • El PDF completo de $y$ puede ser calculada sólo mediante la aplicación de un cambio de variable. Por desgracia, las integrales que conducen a la expectativas son insolubles (al mejor de mi conocimiento).

  • Estoy buscando de forma cerrada aproximaciones, no de la Cadena de Markov-Monte Carlo, no variacional cosas. Es decir, aproximaciones a la variable de cambio, a la expectativa de las integrales, sigmoide, para el PDF resultante, que permiten computing $E\{y_j y_j'\}$.

  • Algunos callejones sin salida: Taylor, a menudo se utiliza en los trabajos sobre el tema, es inexacta por la milla. Gradshteyn y Ryzhik no parecen contener los integrales.

2voto

jldugger Puntos 7490

La pregunta que realmente le preocupa a los pares de la normal de variables. Vamos a llamarlos $x_1$$x_2$, con los medios de $\mu_i$, desviaciones estándar $\sigma_i$, y la correlación $\rho$. De donde sus conjunta pdf

$$\frac{1}{2 \pi \sqrt{1 - \rho^2} \sigma_1 \sigma_2} e^{-\frac{1}{1-\rho^2} \left(\frac{(x_1 - \mu_1)^2}{2 \sigma_1^2} + \frac{(x_2 - \mu_2)^2}{2 \sigma_2^2} - \frac{\rho (x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1 \sigma_2}\right)} dx_1 dx_2\text{.}$$

Deje $f(x_1,x_2)$ ser el producto de este con el $y_i$ (como funciones de la $x_i$). El primer componente del gradiente de $\log(f)$ es

$$\frac{\partial \log(f)}{\partial x_1} = \frac{1}{1 + e^{x_1}} + \frac{\rho(\mu_2 - x_2) \sigma_1 + (x_1 - \mu_1)\sigma_2}{(\rho^2-1)\sigma_1^2 \sigma_2},$$

con una expresión similar para el segundo componente (a través de la simetría alcanzado mediante el intercambio de los subíndices 1 y 2). Habrá un único máximo global, que se puede detectar mediante el ajuste de la pendiente a cero. Este par de ecuaciones no lineales no tiene solución de forma cerrada. Se encontró rápidamente por un par de Newton-Raphson iteraciones. Alternativamente, se puede linealizar las ecuaciones. En efecto, a través de segundo orden, el primer componente es igual a

$$\frac{1}{2} + x_1\left(\frac{-1}{4} + \frac{1}{(\rho^2-1)\sigma_1^2}\right) + \frac{-\rho x_2 \sigma_1 + \rho \mu_2 \sigma_1 - \mu_1 \sigma_2}{(\rho^2 -1)\sigma_1^2 \sigma_2}.$$

Esto le da un par de lineal de ecuaciones en $(x_1, x_2)$, lo que, por tanto, no tiene una forma cerrada de la solución, decir $\hat{x}_i(\mu_1, \mu_2, \sigma_1, \sigma_2, \rho)$, que obviamente son racionales de polinomios.

El Jacobiano en este momento crítico tiene 1,1 coeficiente de

$$\frac{e^\hat{x_1}\left(2 - (\rho^2-1)\sigma_1^2 + 2\cosh(\hat{x_1})\right)}{(1+e^\hat{x_1})^2(\rho^2-1)\sigma_1^2},$$

1,2 y 2,1 coeficientes de

$$\frac{\rho}{\sigma_1 \sigma_2(1 - \rho^2)},$$

y 2,2 coeficiente obtenido del coeficiente 1,1 por la simetría. Debido a que este es un punto crítico (al menos aproximadamente), se puede sustituir

$$e^\hat{x_1} = \frac{(\rho^2-1)\sigma_1^2 \sigma_2}{(\mu_2 - \hat{x_2})\rho \sigma_1 + (\hat{x_1} - \mu_1)\sigma_2} - 1$$

y el uso que también para calcular los $\cosh(\hat{x_1}) = \frac{e^\hat{x_1} - e^{-\hat{x_1}}}{2}$, con una manipulación similar para$e^\hat{x_2}$$\cosh(\hat{x_2})$. Esto permite la evaluación de la Arpillera (el determinante del Jacobiano) como una función racional de los parámetros.

El resto es de rutina: el de Hesse nos dice cómo aproximar la integral como una binormal integral (una saddlepoint aproximación). La respuesta es igual a $\frac{1}{2\pi}$ veces una función racional de los cinco parámetros: esa es su forma cerrada (por lo que vale la pena!).

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X