2 votos

Probabilidad condicional para la gaussiana

En primer lugar, estoy estudiando el aprendizaje automático con el reconocimiento de patrones de Bishop Estoy atascado con el capítulo 2 partes gaussianas. Requiere mucho Álgebra lineal y Estadística. ¿Qué libros me recomiendas para formar la base de la parte gaussiana?

y esta es mi segunda pregunta sobre el capítulo 2(Gaussian)

esta ecuación es de la distribución condicional gaussiana para la ecuación cuadrática

$$-\dfrac{1}{2}({\bf x}-{\pmb \mu})^T\Sigma^{-1}({\bf x}-{\pmb \mu})=-\dfrac{1}{2}{\bf x}^T\Sigma^{-1}{\bf x} + {\bf x}^T\Sigma^{-1}{\pmb \mu}+const \qquad{(2.71)}$$

Esto se llama completar el cuadrado

  1. ¿Cómo se deriva la ecuación de la izquierda a la ecuación de la derecha?

  2. ¿qué representa la ecuación? (no entiendo el formato de las ecuaciones y por qué lo utilizamos)

  3. ¿qué significa encontrar la media y la varianza a partir de esta ecuación?

y esta es la probabilidad condicional para la gaussiana

y esta ecuación $$-\dfrac{1}{2}{\bf x}_a^T\Lambda_{aa}{\bf x}_a \qquad{(2.72)}$$

dijo tomar la derivada dos veces y esta ecuación derivada. ..... por qué....

$$\Sigma\_{a|b} = \Lambda_{aa}^{-1} \qquad{(2.73)}$$

¿por qué una covarianza representa la probabilidad condicional?

Si es demasiado difícil de explicar, ¿puede enumerar las "cosas" que debo saber para estas ecuaciones?

0voto

Antoni Parellada Puntos 2762

Para permitir la flexibilidad en el álgebra, y eludir el hecho de que

$$\small \begin{bmatrix} \Sigma_{aa} & \Sigma_{ab}\\ \Sigma_{ba} & \Sigma_{bb} \end{bmatrix}^{-1} \neq \begin{bmatrix} \Sigma_{aa}^{-1} & \Sigma_{ab}^{-1}\\ \Sigma_{ba}^{-1} & \Sigma_{bb}^{-1} \end{bmatrix} $$

Reemplazamos el $\Sigma^{-1}$ por el matriz de precisión :

\begin{align}\boldsymbol \Sigma^{-1} = \begin{bmatrix} \Sigma_{aa} & \Sigma_{ab}\\ \Sigma_{ba} & \Sigma_{bb} \end{bmatrix}^{-1} = \begin{bmatrix} \Lambda_{aa} & \Lambda_{ab}\\ \Lambda_{ba} & \Lambda_{bb} \end{bmatrix} \end{align}


Ahora podemos expandir el exponente cuadrático de la fdp conjunta de la gaussiana multivariante particionada $\bf x =\begin{bmatrix}{\bf x_a}&{\bf x_b}\end{bmatrix}^T$ :

$$-\frac{1}{2}({\bf x} - {\boldsymbol \mu})^T\, \Sigma^{-1} \, ({\bf x} - \boldsymbol \mu)\\ = -\frac{1}{2} \begin{bmatrix} {\bf x}_a - \boldsymbol\mu_a & {\bf x_b} - \boldsymbol\mu_b \end{bmatrix} \begin{bmatrix} \Lambda_{aa} & \Lambda_{ab}\\ \Lambda_{ba} & \Lambda_{bb} \end{bmatrix} \begin{bmatrix} {\bf x}_a - \boldsymbol\mu_a \\ {\bf x}_b - \boldsymbol \mu_b \end{bmatrix} \small\\ = -\frac{1}{2}\left[\small ({\bf x}_a-\boldsymbol\mu_a)^T\, \Lambda_{aa}({\bf x}_a-\boldsymbol\mu_a) + 2 \,({\bf x}_a-\boldsymbol\mu_a)^T\, \Lambda_{ab}({\bf x}_b-\boldsymbol\mu_b)+({\bf x}_b-\boldsymbol\mu_b)^T\, \Lambda_{bb}({\bf x}_b-\boldsymbol\mu_b)\right] \\= \color{blue}{-\frac{1}{2}\small ({\bf x}_a-\boldsymbol\mu_a)^T\, \Lambda_{aa}({\bf x}_a-\boldsymbol\mu_a)} - \,({\bf x}_a-\boldsymbol\mu_a)^T\, \Lambda_{ab}({\bf x}_b-\boldsymbol\mu_b) -\frac{1}{2} ({\bf x}_b-\boldsymbol\mu_b)^T \Lambda_{bb}({\bf x}_b-\boldsymbol\mu_b) $$

para demostrar que terminamos con exponentes cuadráticos. Por lo tanto, la distribución conjunta será gaussiana. La media y la varianza caracterizarán completamente la distribución. El color indica el único cuadrático ${\bf x}_a$ (véase más abajo).


Encontrar la media y la varianza "completando el cuadrado" es el paso utilizado en aquí . Sin embargo, en el libro parece que la operación era simplemente expandir la forma cuadrática, y luego convertir la expresión resultante en una $ax^2+bx+c$ forma polinómica tal y como comenta @them:

$$\small -\frac{1}{2}({\bf x}- \boldsymbol\mu)^T \Sigma^{-1}({\bf x}-\boldsymbol\mu) =-\frac{1}{2}\left({\bf x}^T\Sigma^{-1}{\bf x} - \boldsymbol\mu^T\Sigma^{-1}{\bf x} - X^T \Sigma^{-1} \boldsymbol\mu + \boldsymbol\mu^T\Sigma^{-1}\boldsymbol\mu \right)$$

y señalando que ${\bf x}^T\Sigma^{-1}\boldsymbol\mu = \boldsymbol\mu^T\Sigma^{-1}{\bf x}$

$$\small -\frac{1}{2}({\bf x}- \boldsymbol\mu)^T \Sigma^{-1}({\bf x}-\boldsymbol\mu) =-\frac{1}{2}{\bf x}^T\Sigma^{-1}{\bf x} + {\bf x}^T \Sigma^{-1} \boldsymbol\mu -\frac{1}{2} \boldsymbol\mu^T\Sigma^{-1}\boldsymbol\mu $$

y como $-\frac{1}{2} \boldsymbol\mu^T\Sigma^{-1}\boldsymbol\mu$ no depende de ${\bf x}$ podemos convertirlo en una constante $C$ :

$$\begin{eqnarray} \small -\frac{1}{2}({\bf x}- \boldsymbol\mu)^T \Sigma^{-1}({\bf x}-\boldsymbol\mu) =\color{brown}{-\frac{1}{2}{\bf x}^T\Sigma^{-1}{\bf x}} + {\bf x}^T \Sigma^{-1} \boldsymbol\mu +C \qquad{(2.71)}\\ =-\frac{1}{2}\begin{bmatrix} {\bf x}_a & {\bf x}_b\end{bmatrix}^T\Lambda \begin{bmatrix} {\bf x}_a \\ {\bf x}_b\end{bmatrix} + {\bf x}^T \Sigma^{-1} \boldsymbol\mu +C\\ =\color{blue}{-\frac{1}{2}}\begin{bmatrix}\color{blue}{ {\bf x}_a} & X_b\end{bmatrix}^T \begin{bmatrix} \color{blue}{\Lambda_{aa}} & \Lambda_{ab}\\ \Lambda_{ba} & \Lambda_{bb} \end{bmatrix} \begin{bmatrix} \color{blue}{{\bf x}_a} \\ {\bf x}_b\end{bmatrix} + {\bf x}^T \Sigma^{-1} \boldsymbol\mu + C \end{eqnarray}$$

Cuando el acondicionamiento en $X_b$ (actuando ahora como una constante), la forma cuadrática en el exponente $\small -\frac{1}{2}(X- \boldsymbol\mu)^T \Sigma^{-1}(X-\boldsymbol\mu) $ de los cuales $\Sigma^{-1}$ es la varianza, vendrá dada por los elementos coloreados en azul (comparar con la parte en rojo dos líneas antes). Esto explica la mención de

$$\color{blue}{-\dfrac{1}{2}{\bf x}_a^T\Lambda_{aa}{\bf x}_a }$$

en el libro y en el PO. En esta expresión $\boldsymbol \mu$ se ha asimilado a $C$ ; de lo contrario, tenemos de nuevo la expresión de color azul en la segunda parte de la respuesta.

Por lo tanto, la varianza de $f({\bf x}_a\vert {\bf x}_b)$ será:

$$\Sigma_{a\vert b} = \Lambda_{aa}^{-1} $$

En este punto el libro pasa a la media.


Este enlace proporciona las tres páginas pertinentes en Reconocimiento de patrones y aprendizaje automático por Christopher Bishop .

Y aquí hay un enlace a material muy pertinente sobre la compleción del cuadrado como técnica para derivar la pdf marginal y condicional de una gaussiana multivariante.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X