¿La expectativa del mínimo de funciones es igual al mínimo de la expectativa de las funciones?

Question

Supongamos que tengo un conjunto de funciones: $f_n(x) = x^2 + b_n x$, con $b_n$ una variable aleatoria.

Definimos $f(x) = E_n[f_n(x)]$, aquí $f(x) = x^2 + E[b_n] x.

El minimizador de la función $f_n$ y $f$ están dados por: $\theta_n = \arg \min_x f_n$, $\theta = \arg \min_x f

En este caso tenemos: $\theta_n = -\frac{b_n}{2}$, $\theta = -\frac{E[b_n]}{2}$

Entonces tenemos: $E[\theta_n]= \theta

Mi pregunta: ¿este es el caso general para la otra forma de funciones $f_n$? ¿qué pasa si $f_n$ tiene una expresión más completa, incluso si no se puede escribir la expresión analítica del minimizador $\theta_n$?

Answer 1

Esto no funciona en general.

Tenga en cuenta que multiplicar $f_n$ con una función $g(b_n)$ no cambia el argmin de $f_n$, pero en general cambiará el argmin de $f.

Considere por ejemplo $f_n(x) = b_n^2(x - b_n^2)^2 = b_n^2x_n^2 - 2b_n^4x + b_n^6$. Entonces, la expectativa del argmin es $E[b_n^2]$, mientras que el argmin de la expectativa es $\frac{E[b_n^4]}{E[b_n^2]}. A menos que $b_n^2$ sea constante, tienes $\frac{E[b_n^4]}{E[b_n^2]} < E[b_n^2]$ por la desigualdad de Cauchy-Schwarz.