Densidades conjuntas y densidades condicionales de sumas de variables aleatorias con distribución normal i.i.d.

Question

Dejemos que $X_1,X_2,…$ sean independientes con la densidad normal común $\eta$ y $S_k= X_1++X_k$ . Si $m <n$ encontrar la densidad conjunta de $(S_m,S_n)$ y la densidad condicional para $S_m$ dado que $S_n=t$ .

Intento de solución

Que las variables aleatorias independientes tengan $X_1,X_2,…$ con la densidad normal común $\eta$ tienen parámetros $(\mu,\sigma^2)$ . Entonces ambos $S_m$ y $S_n$ tienen densidades normales con parámetros $(m\mu,m\sigma^2)$ y $(n\mu,n\sigma^2)$ respectivamente y sus densidades son $f_{S_m}$ y $f_{S_n}$ .

También observamos que $S_m$ y $S_{n-m}$ son dos variables aleatorias independientes con densidad $f_{S_m}$ y $f_{S_{n-m}}$ y la densidad de su suma $S_n$ es $f_{S_n}$ . Los pares $(S_m,S_n )$ y $(S_m,S_{n-m})$ están relacionados por una transformación lineal $S_m= S_m,S_{n-m}=S_n-S_m$ con determinante 1. Por tanto, la densidad conjunta de $(S_m,S_n)$ viene dada por $f_{S_m}(x) f_{S_{n-m}}(s-x)$

$f_{S_m} (x) f_{S_{n-m}} (s-x)=\dfrac{1}{\sqrt {2\pi m \sigma ^{2}}}e^{-\dfrac {\left( x-m \mu\right) ^{2}} {2m \sigma ^{2} }}\dfrac{1}{\sqrt {2\pi (n-m) \sigma ^{2}}}e^{-\dfrac {\left( s-x-(n-m)\mu\right) ^{2}} {2(n-m) \sigma ^{2} }}$

$f_{S_m} (x) f_{S_{n-m}} (s-x)=\dfrac{1}{2\pi\sigma ^{2}\sqrt { m(n-m) }}e^{\dfrac {-(n-m)\left( x-m \mu\right) ^{2}-m\left( s-x-(n-m)\mu\right) ^{2}} {2m(n-m) \sigma ^{2} }}$

Parece que no puedo poner esto en la forma de distribución normal bi-variable estándar.

Esto parece una densidad normal bivariada que coincide con la respuesta proporcionada por el autor, pero también afirma una densidad normal bivariada con varianzas $m, n$ y la covarianza $\sqrt {\dfrac {m} {n}}$ .

Answer 1

Este parece ser un caso en el que volver a las fórmulas completas desde el principio puede no ayudar a la comprensión, así que tratemos de mantener las fórmulas a distancia el mayor tiempo posible y entender lo que está pasando (aunque las fórmulas serán necesarias al final, por supuesto...).

Supongamos que $\eta$ tiene media $\mu$ y la varianza $\sigma^2$ . Entonces la distribución conjunta de $(S_m,S_n)$ es normal bivariante, por lo que se caracteriza por el vector media $(\mathbb ES_m,\mathbb ES_n)=(m\mu,n\mu)$ y la matriz de varianza-covarianza $C$ con entradas $\mathrm{var}(S_m)=m\sigma^2$ , $\mathrm{var}(S_n)=n\sigma^2$ y $\mathrm{cov}(S_m,S_n)=m\sigma^2$ Es decir, $$C=\sigma^2\begin{pmatrix}m & m \\ m & n\end{pmatrix}.$$ La inversa de $C$ es la matriz $$C^{-1}=\dfrac1{\tau^2}\begin{pmatrix}n & -m \\ -m & m\end{pmatrix},\qquad\tau^2=m(n-m)\sigma^2, $$ por lo que la densidad conjunta en $(x,y)$ del vector centrado $(S_m-m\mu,S_n-n\mu)$ es proporcional a $$ \exp\left(-\frac12(x,y)C^{-1}(x,y)^T\right)=\exp\left(-\frac1{2\tau^2}(nx^2-2mxy+my^2)\right). $$ Acondicionamiento por $[S_n=t]$ equivale a fijar $y=t-n\mu$ en esta fórmula y considerando la función resultante de una variable de $x$ como múltiplo de una densidad. Por lo tanto, la densidad de $S_m-m\mu$ con la condición de $[S_n=t]$ es proporcional a $$ \exp\left(-\frac1{2\tau^2}(nx^2-2mxy)\right)\propto\exp\left(-\frac{n}{2\tau^2}\left(x-\frac{my}n\right)^2\right). $$ Así, la distribución de $S_m$ con la condición de $[S_n=t]$ es normal con media $\mu_t$ y la varianza $\sigma_t^2$ con $$ \mu_t=(my/n)+m\mu=mt/n,\qquad\sigma^2_t=\tau^2/n=(n-m)(m/n)\sigma^2. $$ Uno puede encontrar tranquilizador que $\mu_t=t$ y $\sigma^2_t=0$ cuando $n=m$ (¿por qué?) y que $\mu_t=0$ y $\sigma^2_t=0$ cuando $m=0$ (¿por qué?).

Nota: El hecho de que la distribución de $S_m$ con la condición de $[S_n=t]$ tiene media $\mu_t=mt/n$ y la varianza $\sigma_t^2=(n-m)(m/n)\sigma^2$ es válida para toda secuencia $(S_k)$ de sumas de variables aleatorias i.i.d. $(X_k)$ con la varianza $\sigma^2$ independientemente de la distribución común de las variables aleatorias $X_k$ . El hecho de que esta distribución condicional sea normal depende en gran medida de la distribución común de las variables aleatorias $X_k$ ser normal, naturalmente.

Editar: Para demostrar que $(S_m,S_n)$ es normal bivariante, la forma canónica es partir del hecho de que $X=(X_k)_{1\leqslant k\leqslant n}$ es un vector gaussiano con coordenadas i.i.d. con media $\mu$ y la varianza $\sigma^2$ . Además, existe una matriz $A$ de tamaño $2\times n$ tal que el vector $U=(S_m,S_n)$ es $U=A\cdot X$ . Desde $U$ es un transformación afín de $X$ , $U$ es un vector gaussiano con media $A\cdot \mathbb E(X)$ y la varianza-covarianza $$C=A\cdot \mathrm{Cov}(X)\cdot A^T=\sigma^2 AA^T. $$ Por último, escribir $L_k$ para una línea de $k$ y $Z_k$ para una línea de $k$ ceros, la definición de $S_m$ y $S_n$ produce $$A=\begin{pmatrix}L_m & Z_{n-m}\\ L_m & L_{n-m}\end{pmatrix},$$ por lo tanto, como se ha indicado anteriormente, $$A\cdot \mathbb E(X)=\begin{pmatrix}m\mu\\ n\mu\end{pmatrix},\qquad AA^T=\begin{pmatrix}m & m\\ m & n\end{pmatrix}.$$