Dada una función, calcular MMSE y LMMSE

Question

Sea $X = \frac{1}{1+U}$ donde $U$ se distribuye uniformemente en $[0,1]$ . Necesito evaluar $E[X\mid U]$ y $\hat{E}[X\mid U]$ y calcular el MSE, $E[(X-E[X\mid U])^2]$ y $E[(X-\hat{E}[X\mid U])^2]$

---

Sé que, en general, el pdf de una distribución uniforme es $\frac{1}{b-a} \in [a,b]$ y la media es $\frac{a+b}{2}$ .

En general, el estimador del error cuadrático medio mínimo es simplemente la media condicional, \begin{align} E[X\mid Y=y] &= \int x f_{X\mid Y}(x\mid y) \, dx \\ f_{X\mid Y}(x\mid y) &:= \frac{f_{XY}(x,y)}{f_Y(y)}\\ f_Y(y) &= \int_{-\infty}^\infty f_{XY}(x,y) \, dx \end{align}

En general, el menos lineal error cuadrático medio mínimo (LMMSE) se define como \begin{align} \hat{E}[X\mid Y=y] &= \mathbb E[X] + \operatorname{Cov}(X,Y)\operatorname{Cov}(Y)^{-1}(y-E[Y]) \end{align}

---

Tengo problemas para formular la función del problema, $X = \frac{1}{1+U}$ en términos del pdf conjunto y condicional.

Answer 1

Desde $X = \displaystyle \frac{1}{1+U}$ la condicional condicional $E[X\mid U = \alpha]$ el valor esperado de $X$ dado que $U = \alpha$ es el valor esperado de $\displaystyle \frac{1}{1+U}$ dado que $U = \alpha$ y es por tanto $\displaystyle \frac{1}{1+\alpha}$ . Así, $$E[X \mid U] = \frac{1}{1+U}$$ es el estimador MMSE para $X$ dado $U$ . Esto varía de $1$ cuando $U = 0$ a $\frac{1}{2}$ cuando $U = 1$ .

Para el lineal estimador de error cuadrático medio mínimo (LMMSE), necesita encontrar $E[X]$ que es simplemente $$E[X] = E[E[X \mid U]] = E\left[\frac{1}{1+U}\right] = \int_{-\infty}^\infty \frac{1}{1+u}f_U(u)\,\mathrm du = \int_0^1 \frac{\mathrm du}{1+u}$$ cuyo valor debes calcular tú mismo.

Escribe $\displaystyle E[X] = \int_0^1 \frac{\mathrm du}{1+u} = \cdots \quad$ después de calcular la integral mostrada arriba y poner su valor donde he escrito $\cdots$ . Dibuja un recuadro alrededor para que puedas encontrar el valor numérico de $E[X]$ de nuevo fácilmente. Lo necesitará en el futuro.

Siguiente, $$\operatorname{cov}(X,U) = E[XU] - E[X]E[U] = E\left[\frac{U}{1+U}\right] - E[X]E[U]$$ donde todas las cantidades de la derecha se calculan fácilmente.

Repítelo lentamente tres veces:

1. Puedo calcular $E\left[\frac{U}{1+U}\right]$ utilizando la ley del estadístico inconsciente como $$E\left[\frac{U}{1+U}\right] = \int_{-\infty}^{+\infty} \frac{u}{1+u}f_U(u)\,\mathrm du = \int_0^1 \frac{u}{1+u}\,\mathrm du = \bigr[u - ln(1+u)\bigr|_0^1 = 1 - \ln(2).$$

2. No necesito calcular $E[X]$ de nuevo porque ya he encontrado su valor y lo he guardado para utilizarlo en el futuro.

3. No escribiré $E[X] = \frac{1}{1+U}$ (como hice yo en los comentarios) y confundirme innecesariamente debido a #2 arriba. Ya conozco el valor numérico de $E[X]$ y también entiendo que esta constante real no puede ser igual a $\frac{1}{1+U}$ que es una variable aleatoria.

4. Ya sé que $E[U] = \frac{1}{2}$ y así no necesito encontrarlo de nuevo.

Ahora, calcula $\operatorname{cov}(X,U) = E\left[\frac{U}{1+U}\right] - E[X]E[U]$ donde las tres expectativas de la derecha tienen valores numéricos conocidos que acabas de calcular. ¿Sigue sin funcionar? Siga las instrucciones del texto una vez más.

Para calcular el estimador LMMSE, deberá también necesitará $\operatorname{var}(U)$ que espero que usted también pueda calcular fácilmente (o utilizar una fórmula estándar) para llegar a la respuesta $\frac{1}{12}$ .

Ahora júntalo todo. Usted debe conseguir que el LLMSE es una línea recta $au+b$ de pendiente negativa que interseca a la hipérbola $\frac{1}{1+u}$ (el estimador MMSE) en dos lugares.

Answer 2

En primer lugar, obtenga la densidad marginal de $X$ que por la fórmula de cambio de variable puede verse que es

$$f_X(x) = x^{-2} \qquad x\in \left[\frac 12,\; 1\right]$$

y cero en el resto. El apoyo se ha calculado a partir de la forma funcional de $X$ y del hecho de que $U \in [0,1]$ y podrá comprobar que se trata de un pdf correcto.

Ahora bien, ¿qué significa "la distribución de $X$ dado $U$ "? A nivel de función de distribución acumulativa, esto se expresaría como

$$F_{X|U}(x|u) = P(X\le x\mid U\le u) $$ Es decir, la probabilidad de $X$ siendo menor que algún valor $x$ dado que $U$ es menor que algún valor $u$ . Así que tenemos $$U\le u \Rightarrow 1+ U \le 1+u \Rightarrow X = \frac{1}{1+U} \ge \frac{1}{1+u}$$

El efecto del condicionamiento sobre $U$ es que el límite inferior de $X$ depende ahora de $U$ . En el caso incondicional, calculamos el límite inferior para el soporte de $X$ considerando el valor máximo $U$ puede tomar, es decir, la unidad. Ahora el valor máximo $U$ puede tomar es algún valor $u$ . Es como si $X$ es una función de una variable aleatoria uniforme que oscila entre $[0,u]$ con densidad $\frac 1u$ . Aplicando para este caso la fórmula de cambio de variable, obtenemos

$$f_{X|U}(x|u) = \frac 1ux^{-2} \qquad x\in \left[\frac{1}{1+u},\; 1\right]$$

Supongo que puedes seguir desde aquí.