¿Lo que ' s la máxima expectativa de una varianza condicional, $E[Var(X+Z_1 \mid X+Z_2)]$?

Question

Deje $X,Z_1,Z_2$ 3 mutuamente independientes de la RV, con $Z_1, Z_2$ asumiendo $N(0,1)$ distribución. $X$ está obligado a tener la unidad de 2ª momento, es decir,$E[X^2] =1$, pero puede tomar distribución arbitraria. La pregunta es: ¿Cuál es el valor máximo de la siguiente expectativa de la varianza condicional?

$$E[Var(X+Z_1 \mid X+Z_2)]$$

Un par de observaciones:

1. Recordemos que $$E[Var(X+Z_1 \mid X+Z_2)] = E[(X+Z_1)^2]-E[E[X+Z_1 \mid X+Z_2]^2]$$

donde $E[(X+Z_1)^2]$ es obviamente igual a $E[X^2]+E[Z_1^2]=2$. De manera equivalente, la pregunta es: ¿Cuál es el valor mínimo de $E[E[X \mid X+Z_2]^2]$? (Tenga en cuenta que $E[X+Z_1 \mid X+Z_2]=E[X \mid X+Z_2]+E[Z_1 \mid X+Z_2]$ y el 2do término es cero.)

2. Tenga en cuenta también que $E[X \mid X+Z_2]$ es la estimación MMSE de $X$$X+Z_2$, y la estimación de error es:$E[Var(X\mid X+Z_2)]=E[X^2]-E[E[X\mid X+Z_2]^2]$. Así que efectivamente estamos pidiendo lo que la distribución de X, el resultado sería, en el peor de estimación MMSE error?

3. Un par de ejemplos sencillos pueden arrojar algo de luz sobre este tema : (1) Si $X \sim N(0,1)$, $X+Z_1$ $X+Z_2$ son conjuntamente Gaussiano. Se sabe que $$Var(X+Z_1\mid X+Z_2) = (1-\rho^2)Var(X+Z_1)=3/2,$$ $$E[X\mid X+Z_2]=(X+Z_2)/2,$$ and hence $E[E[X\mid X+Z_2]^2]=1/2.$
(2) Si $X$ es una constante, decir $1$ o $-1$, entonces obviamente $$Var(X+Z_1\mid X+Z_2)=Var(X+Z_1)=1,$$ $$E[X\mid X+Z_2]=1.$$ Así que, claramente, $E[E[X\mid X+Z_2]^2]$ no es constante, y me pregunto si es minimizado por la distribución Gaussiana de X?

Answer 1

Motivados por el Prof. Guo papel y Prof. de Kim materiales del curso (ver los enlaces en los comentarios de abajo), he encontrado la respuesta a esta pregunta. Voy a publicar a continuación en el caso de que otras personas se ejecute en preguntas similares.

El valor máximo de $E[Var(X+Z_1\mid X+Z_2)]$ $3/2$ y es, de hecho, logrado por $X\sim N(0,1)$, como se especula en el Comentario #3 en la pregunta. La prueba se describe a continuación.

1. En primer lugar, tenga en cuenta que $E[Var(X+Z_1\mid X+Z_2)]$ el (promedio) MMSE de la estimación de $X+Z_1$ basado en la observación de $X+Z_2$. Claramente, para cualquier distribución de $X$, el MMSE no puede ser mayor que lineal MMSE, o LMMSE.

2. Para cualquier distribución de $X$, el LMMSE $= \sigma_U^2-\frac{Cov(U,V)^2}{\sigma_V^2}=2-\frac{1}{\sigma_X^2+1}\leq 3/2$, independiente de la distribución de $X$! ($U$ & $V$ denota $X+Z_1$ & $X+Z_2$, respectivamente).

3. Por lo tanto, $E[Var(X+Z_1\mid X+Z_2)]\leq 3/2$ para cualquier distribución de $X$.

4. Por otra parte, si $X\sim N(0,1)$, $X+Z_1$ & $X+Z_2$ serán solidariamente de Gauss. Es bien sabido que en este caso MMSE es idéntica a LMMSE. Así que la máxima expectativa se logra mediante la distribución de Gauss de $X$.