Umbralización suave (Donoho y Johnstone)

Question

Donoho y Johnstone (1994) plantean la siguiente igualdad:

$$ E((\eta_t(X) - \mu)^2) = 1 - 2\Pr(|X|\lt t) + E(\min(X^2,t^2)) $$

donde $\eta_t(X) = \operatorname{sign}(x)\max(|X|-t,0)$ y $X \sim N(\mu,1)$ .

Tengo problemas para ver esto; ¿alguna pista?

Answer 1

Piensa en la función $\eta_t$ como una "perturbación aditiva" de la identidad $\operatorname{Id}:x\to x$ expresando $\eta_t(X)$ como la diferencia entre $X$ y la perturbación $T_t.$ Esta es la imagen cuando $t\ge 0:$

Esto nos evita tener que lidiar con tres expresiones distintas para $\eta_t$ (desglosado por si $x\lt -t,$ $-t\le x\le t,$ o $t \lt x$ ) que da lugar a hasta nueve expresiones distintas para su cuadrado. También sugiere que veamos $\eta_t(X) - \mu$ como una perturbación de $X-\mu,$ cuyo cuadrado esperado es la varianza de $X.$ Esto motiva el primer par de pasos algebraicos en $(**)$ abajo.

Antes de continuar, utilicemos los gráficos para derivar algunas propiedades de $T_t.$ La función $T_t$ "pinzas" $X$ a la gama $[-t, t]$ estableciendo valores mayores de $X$ a $t$ y los valores más pequeños a $-t.$ Observe que $T_t^2$ por lo tanto abrazaderas $X^2$ a la gama $[0,t^2];$ es decir,

$$T_t(X)^2 = \min(X^2, t^2).$$

Para futuras referencias, observe también que $T_t$ es diferenciable en casi todas partes y su derivada es la indicador del intervalo $(-t,t):$

$$T_t^\prime(x) = \frac{d}{dx}T_t(x) = \mathcal{I}_{(-t,t)}(x) = \left\{\matrix{1 & \text{if } -t \lt x \lt t \\ 0 & \text{otherwise.}}\right.\tag{*}$$

Después de hacer la sustitución

$$\eta_t(X) = X - T_t(X),$$

El álgebra nos lleva directamente al siguiente paso,

$$\eqalign{ E\left[\left(\eta_t(X) - \mu\right)^2\right] &=E\left[\left(X - T_t(X) - \mu\right)^2\right] \\ &=E\left[\left(X - \mu - T_t(X)\right)^2\right] \\ &=E\left[(X-\mu)^2 - 2(X-\mu)T_t(X) + T_t(X)^2\right] \\ &=E\left[(X-\mu)^2\right] -2 E\left[T_t(X)(X-\mu)\right] + E\left[T_t(X)^2\right]\\ &=\color{red}{\operatorname{Var(X)}} -2 \color{blue}{E\left[T_t(X)(X-\mu)\right]}+ \color{green}{E\left[\min(X^2, t^2)\right]}.\tag{**} }$$

Hasta ahora no ha sido necesario utilizar la suposición de que $X$ tiene una distribución Normal con media $\mu$ y la varianza de la unidad. Lo hacemos ahora y aplicar el lema (abajo) a la función $g(x) = T_t(x)$ e invocar $(*)$ anterior para reexpresar el término medio como

$$\color{blue}{E\left[T_t(X)(X-\mu)\right]} = E\left[T_t^\prime(X)\right] = E\left[\mathcal{I}_{(-t,t)}(X)\right] = \Pr(-t \lt X \lt t) = \color{blue}{\Pr(|X| \lt t)}.$$

Junto con la suposición $\color{red}{\operatorname{Var}(X) = 1},$ esto nos permite expresar $(**)$ como

$$E\left[\left(\eta_t(X) - \mu\right)^2\right] = \color{red}{1} -2\color{blue}{\Pr(|X| \lt t)} + \color{green}{E\left[\min(X^2, t^2)\right]},$$

QED.

Un planteamiento similar se ocupará del caso de los negativos $t,$ pero la respuesta será diferente. Supongo que la fórmula original estaba pensada solo para los no negativos $t.$

---

Lema

Dejemos que $\phi_\mu$ sea la función de densidad de una Normal $(\mu,1)$ variable. ¿Qué tiene de especial $\phi_\mu$ es que

$$\frac{\phi_\mu^\prime(x)}{\phi_\mu(x)} = \frac{d}{dx} \log(\phi_\mu(x)) = -(x-\mu).$$

Dejemos que $g$ sea cualquier función integrable y diferenciable en casi todas partes. Insertando lo anterior en la regla del producto de la diferenciación se obtiene

$$\frac{d}{dx} \left(g(x)\phi_\mu(x)\right) = g^\prime(x) \phi_\mu(x) + g(x) \phi_\mu^\prime(x) = g^\prime(x) \phi_\mu(x) - g(x)(x-\mu) \phi_\mu(x),$$

por lo que integrando ambos lados e invocando el Teorema Fundamental del Cálculo se obtiene

$$\eqalign{ g(x)\phi_\mu(x) \mid_{-\infty}^\infty &= \int_\mathbb{R}\frac{d}{dx} \left(g(x)\phi_\mu(x)\right) dx \\ &= \int_\mathbb{R}g^\prime(x) \phi_\mu(x) dx - \int_\mathbb{R}g(x)(x-\mu) \phi_\mu(x) dx \\&= E\left[g^\prime(X)\right] - E\left[g(X)(X-\mu)\right]. }$$

Cuando $g(x)\phi_\mu(x)$ es asintóticamente $0$ como $x\to\pm \infty,$ el lado izquierdo se convierte en $0,$ proporcionando un resultado muy general para variables aleatorias con distribución normal:

$$ E\left[g(X)(X-\mu)\right] = E\left[g^\prime(X)\right] .$$