Expectativa del producto de variables aleatorias conjuntamente gaussianas

Question

Estoy haciendo un proyecto guiado sobre Espacios Gaussianos y me estoy atascando en las primeras etapas de la construcción. Agradecería mucho la ayuda en el siguiente punto:

Dejemos que $N$ sea un número entero y que $\xi_{1},...,\xi_{N}$ sean gaussianos reales estándar i.i.d (media cero, varianza unitaria) definidos en algún espacio de probabilidad conjunto $\Omega$ . Para cualquier vector $y:=(y_{1},...,y_{N})\in\mathbb{R}^{N}$ , definir un v.r. $\xi_{y}$ en $\Omega$ para ser $\xi_{y}:=\sum_{i=1}^{N}y_{i}\xi_{i}$

Ahora dejemos que $y^{(1)},\ldots,y^{(k)}$ sean k vectores en $\mathbb{R}^{N}$ . Resulta (se da por hecho) que $\xi_{y^{(1)}},...,\xi_{y^{(k)}}$ tienen una distribución gaussiana conjunta. Es decir, la densidad del vector $x:=\left(\xi_{y^{(1)}},...,\xi_{y^{(k)}}\right)$ viene dada por $$f(x)=\frac{1}{\sqrt{(2\pi)^{N}\det(A)}}\exp\left\{ -\frac{1}{2}x^{T}A^{-1}x\right\}$$ Donde $A$ es la matriz de covarianza de $x$ . O SEA, $A_{ij}:=\mathbb{E}\left[\xi_{y^{(i)}}\xi_{y^{(j)}}\right]$ .

Comprobar/mostrar que $A_{ij}=\left(\left\langle y^{(i)},y^{(j)}\right\rangle \right)$

Esto es lo que tengo hasta ahora:

$\mathbb{E}\left[\xi_{y^{(i)}}\xi_{y^{(j)}}\right]=\mathbb{E}\left[\left(y^{(i)}\cdot\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right)\left(y^{(j)}\cdot\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right)\right]\overset{}{=}\\\mathbb{E}\left[y^{(i)}\left(\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\cdot y^{(j)}\right)\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right]\overset{(a)}{=}\mathbb{E}\left[y^{(i)}\left(\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\cdot y^{(j)}\right)^{T}\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right]=\\\mathbb{E}\left[\left(y^{(i)}\cdot y^{(j)^{T}}\right)\left(\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}^{T}\cdot\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right)\right]\overset{(b)}{=}\left(y^{(i)}\cdot y^{(j)^{T}}\right)\mathbb{E}\left[\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}^{T}\cdot\begin{pmatrix}\xi_{1}\\ \vdots\\ \xi_{N} \end{pmatrix}\right]=\\\left\langle y^{(i)},y^{(j)}\right\rangle \mathbb{E}\left[\sum_{k=1}^{N}\xi_{k}^{2}\right]\overset{(b)}{=}\left\langle y^{(i)},y^{(j)}\right\rangle \sum_{k=1}^{N}\mathbb{E}\left[\xi_{k}^{2}\right]\overset{(c)}{=}N\cdot\left\langle y^{(i)},y^{(j)}\right\rangle $

(a) - $\xi_{y}=\xi_{y}^{T}$

(b) - Linealidad del valor esperado

(c) - $1=Var(\xi_{i})=\mathbb{E}\left[\xi_{i}^{2}\right]-\underset{=0^{2}}{\underline{\mathbb{E}\left[\xi_{i}\right]^{2}}}\implies\mathbb{E}\left[\xi_{i}^{2}\right]=1$

En primer lugar, ¿son correctos mis pasos? Me preocupa que me dedique a hacer cálculos "ingenuos", pero parece que funciona... excepto que termino con un factor de N.

Agradecería comentarios sobre mi enfoque + una explicación de cómo demostrar realmente lo que se me pide (si es posible, como una extensión de lo que ya hice).

EDIT: Creo que mi uso de la propiedad asociativa es incorrecta y la posterior transferencia (a). Por desgracia, tengo que ir a dormir ahora, pero en la mañana voy a echar un vistazo a esas partes

Answer 1

Vale, esto es un poco vergonzoso, pero me he superado a mí mismo al utilizar la notación vectorial y como resultado he cometido el tonto error de pretender que la multiplicación de un $1\times{}N$ vector por un $N\times1$ es lo mismo que multiplicar un vector $N\times1$ vector por un $1\times{}N$ vector.... De todos modos, esta es la solución que he encontrado siendo un poco más directo:

Asumiendo todos los supuestos que se plantean en la pregunta:

$\mathbb{E}\left[\xi_{y^{(i)}}\xi_{y^{(j)}}\right]\overset{def}{=}\mathbb{E}\left[\sum_{k=1}^{N}y^{(i)}_{k}\xi_{k}\sum_{l=1}^{N}y^{(j)}_{l}\xi_{l}\right]=\mathbb{E}\left[\sum_{k,l\in[N]}y_{k}^{(i)}\xi_{k}y_{l}^{(j)}\xi_{l}\right]=\mathbb{E}\left[\sum_{k,l\in[N]}y_{k}^{(i)}y_{l}^{(j)}\xi_{k}\xi_{l}\right]\overset{(a)}{=}\sum_{k,l\in[N]}y_{k}^{(i)}y_{l}^{(j)}\mathbb{E}\left[\xi_{k}\xi_{l}\right]\overset{(b)}{=}\left(\sum_{\overset{k,l\in[N]}{k=l}}y_{k}^{(i)}y_{l}^{(j)}\mathbb{E}\left[\xi_{k}\xi_{l}\right]\right)+\left(\sum_{\overset{k,l\in[N]}{k\neq l}}y_{k}^{(i)}y_{l}^{(j)}\mathbb{E}\left[\xi_{k}\xi_{l}\right]\right)\overset{(c)}{=}\left(\sum_{k\in[N]}y_{k}^{(i)}y_{k}^{(j)}\mathbb{E}\left[\xi_{k}^{2}\right]\right)+\left(\sum_{\overset{k,l\in[N]}{k\neq l}}y_{k}^{(i)}y_{l}^{(j)}\underset{=0}{\underline{\mathbb{E}\left[\xi_{k}\right]}}\underset{=0}{\underline{\mathbb{E}\left[\xi_{l}\right]}}\right)\overset{(d)}{=}\sum_{k\in[N]}y_{k}^{(i)}y_{k}^{(j)}=\left\langle y^{(i)},y^{(j)}\right\rangle $

(a) - Linealidad del valor esperado

(b) - Dividir la suma

(c) - Recordemos que todos los $\xi_{i}$ son i.i.d., por lo tanto $\mathbb{E}\left[\xi_{k}\xi_{l}\right]=\mathbb{E}\left[\xi_{k}\right]\mathbb{E}\left[\xi_{l}\right]$

(d) - $1=Var(\xi_{i})=\mathbb{E}\left[\xi_{k}^{2}\right]-\underset{=0^{2}}{\underline{\mathbb{E}\left[\xi_{k}\right]^{2}}}\implies\mathbb{E}\left[\xi_{i}^{2}\right]=1$