Prueba de la propiedad afín de la distribución normal para una matriz de paisaje

Question

El ampliamente utilizado/mencionado/supuesto propiedad afín de las distribuciones normales multivariadas dice que:

Dado un vector aleatorio $x \in R^N$ con una distribución normal multivariante -- $x \sim N_x(\mu_x, \Sigma_x)$ -- entonces el vector aleatorio $y = Ax + b$ obtenida aplicando una transformación afín/lineal a $x$ también tiene una distribución normal --> $y \sim N_y(A\mu_x+b, A\Sigma_x A^T)$

La propiedad anterior es fácil de demostrar si $A$ es un $N \times N$ matriz escribiendo $x = A^{-1}(y-b)$ y sustituyéndolo por $N_x(\mu, \Sigma)$ como se muestra a continuación:

\begin {alineado} p_y(y) & \propto p_x(A^{-1}(y-b)) \\ & \propto exp\{-0,5 \times (A^{-1}(y-b)- \mu_x )^T \Sigma_x ^{-1}(A^{-1}(y-b)- \mu_x )\} \\ & = exp\{-0,5 \times (y - (A \mu_x + b))^T A^{-T} \Sigma_x ^{-1}A(y - (A \mu_x + b))\} \\ & = exp\{-0,5 \times (y - (A \mu_x + b))^T (A \Sigma_x A^T)^{-1}(y - (A \mu_x + b))\} \\ & \sim N_y(A \mu_x +b, A \Sigma_x A^T) \end {alineado}

Mis preguntas son las siguientes:

1. ¿Se mantiene la propiedad afín incluso si A es un paisaje $M \times N$ matriz con $M < N$ ? (la mayoría de los libros de texto/notas de clase lo dicen y muchos trabajos lo asumen antes de derivar otras cosas)
2. Si la propiedad afín es cierta, ¿cómo se demuestra? porque cuando A es un paisaje $M \times N$ matriz con $M < N$ no se puede calcular A^{-1} y por lo tanto no se puede expresar el vector aleatorio $x$ como $x = A^{-1}(y-b)$

Answer 1

Hay que abordar esto a través de funciones características . Recordemos que $X$ es normal $N(\mu,\Sigma)$ si y sólo si para todo vector determinista $t$ de tamaño $N\times1$ , $$ E(\mathrm e^{\mathrm it'X})=\mathrm e^{\mathrm it'\mu-t'\Sigma t/2}, $$ donde $t'$ denota la transposición de $t$ . Para cada $(A,b)$ de tamaños compatibles, si $Y=AX+b$ se obtiene $$ E(\mathrm e^{\mathrm it'Y})=\mathrm e^{\mathrm it'b}E(\mathrm e^{\mathrm it'AX})=\mathrm e^{\mathrm it'b}E(\mathrm e^{\mathrm is'X}), $$ donde $s'=t'A$ . Desde $s=(t'A)'=A't$ se ve que $$ E(\mathrm e^{\mathrm it'Y})=\mathrm e^{\mathrm it'b}\mathrm e^{\mathrm is'\mu-s'\Sigma s/2}=\mathrm e^{\mathrm it'b+\mathrm it'A\mu-t'A\Sigma A't/2}. $$ El lado derecho es la función característica de la distribución normal $N(b+A\mu,A\Sigma A')$ y esto es suficiente para identificar la distribución de $Y$ como tal. Obsérvese que no se trata de ningún inverso o pseudoinverso y que esto se aplica a $Y$ de cualquier dimensión.

Answer 2

Sí, se mantiene para un $M \times N$ matriz

Puede utilizar el inverso generalizado en lugar del inverso normal, donde el inverso original es ahora el pseudoinverso de la izquierda, tal que

$A^{-1}_{left}A=I$ (Propiedad 1: No es que esta inversa no sea conmutativa)

Aplicando $A_{left}^{-1}$ a ambos lados de $y=Ax+b$ obtenemos

$A^{-1}_{left}y = A^{-1}_{left}(Ax+b) = A^{-1}_{left}Ax + A^{-1}_{left}b = x + A^{-1}_{left}b$

Aislando x nos da entonces

$x = A^{-1}_{left}(y-b)$

que es similar al $A^{-1}(y-b)$ que has utilizado en tu prueba anterior.

Si usted fuera a trazar a través de su prueba (dejado como un ejercicio), ahora usando el $A^{-1}_{left}$ en lugar de $A^{-1}$ Junto con la propiedad 1 anterior, deberías llegar a la forma final que has derivado.