Esto no es una pregunta, pero es demasiado bueno para dejarlo pasar. He leído que se debe originalmente a Enis, Peter. "Sobre la relación $E (X) = E [E (X Y)]$ ." Biometrika 60, nº 2 (1973): 432-433.
Supongamos que $Y$ tiene una distribución Chi-cuadrado, con un grado de libertad, por lo que su densidad es
$$f_Y(y) = \frac{1}{\sqrt{2\pi}}y^{-1/2}\exp\left\{-\frac 12 y\right\},\;\;\; y \in [0,\infty). \tag{1}$$
Supongamos ahora que definimos el condicional densidad de otra variable $X$ como $$f_{X|Y}(x \mid y) = \frac{1}{\sqrt{2\pi}} y^{1/2}\exp\left\{-\frac 12yx^2\right\}\;\;\; x \in (-\infty, \infty). \tag{2}$$
Es decir, condicionado a $Y=y$ , $X$ tiene una distribución Normal con media cero y varianza igual a $1/y$ . Esto es perfectamente legal y válido. Tenga en cuenta que tenemos $$E(X\mid Y) = 0.$$ Entonces, "automáticamente", concluiríamos $$...\implies E\big[E(X\mid Y)\big] = E(X) = 0...$$
PERO NO ES EL CASO.
Por el teorema de Bayes para densidades, la densidad conjunta es $$f_{X,Y}(x,y) = f_{X|Y}(x \mid y)\cdot f_Y(y) = \frac{1}{2\pi}\exp\left\{-\frac 12y(1+x^2)\right\}\;\;\; (x,y) \in (-\infty, \infty) \times (0, \infty). \tag{3}$$
A partir de aquí podemos obtener el densidad marginal de $X$ por $$f_X(x) = \int_0^{\infty}f_{X,Y}(x,y) dy = \int_0^{\infty}\frac{1}{2\pi}\exp\left\{-\frac 12y(1+x^2)\right\}\,dy$$ $$=\frac {1}{\pi}\frac{1}{1+x^2}\int_0^{\infty}\frac{1+x^2}{2}\exp\left\{-\frac 12y(1+x^2)\right\}\,dy.$$ La integral es igual a $1$ ya que se trata de una densidad exponencial con parámetro de tasa $(1+x^2)/2$ por lo que obtenemos $$f_X(x) = \frac {1}{\pi}\frac{1}{1+x^2}, \tag{4}$$
que es la densidad estándar de Cauchy para lo cual $E(X)$ no está definido.
Así hemos obtenido que $E[E(X\mid Y)]$ puede existir y ser finito, incluso cuando $E[X]$ no existe.
¿Por qué la estadística matemática ha superado a la teoría de la probabilidad en este caso?
Porque en este último, para defina la expectativa condicional, empezamos suponiendo una variable aleatoria $X$ para lo cual $E(X)$ existe, y dado esto, $E(X\mid Y)$ la "propiedad definitoria" de la expectativa condicional en este enfoque es exactamente que su media es igual a la media incondicional. Por tanto, si nos dijeran "que $X$ sea una densidad de Cauchy estándar", concluiríamos que "se deduce que no podemos definir una expectativa condicional de la misma"... Pero acabamos de ver que esta premisa de la existencia de $E(X)$ no es necesario para $E(X\mid Y)$ de existir...
...el lado oscuro de este logro, es que crea la siguiente obligación adicional: siempre que nos encontremos primero con una expectativa condicional, no podemos "promediar sobre ella" automáticamente para obtener el valor esperado incondicional -este último debe demostrarse que existe por otros medios.
En otras palabras, la existencia del valor esperado incondicional sólo es suficiente para que exista la expectativa condicional, y la existencia de la expectativa condicional no es suficiente para que exista el valor esperado incondicional.
Ah, y aquí hay una pregunta: ¿Algún otro ejemplo tan bonito?
