Con la notación habitual, se descomponen $X$ $X=X^+ - X^-$ (tenga en cuenta también que $|X|=X^+ + X^-$). $X$ se dice finito expectativa (o sea integrable) si ${\rm E}(X^+)$ ${\rm E}(X^-)$ son finitos. En este caso,${\rm E}(X) = {\rm E}(X^+) - {\rm E}(X^-)$. Por otra parte, si ${\rm E}(X^+) = +\infty$ (respectivamente, ${\rm E}(X^-) = +\infty$) y ${\rm E}(X^-)<\infty$ (respectivamente, ${\rm E}(X^+)<\infty$), ${\rm E}(X) = +\infty$ (respectivamente, ${\rm E}(X) = -\infty$). Por eso, $X$ es permitido tener infinito expectativa.
Siempre que ${\rm E}(X)$ existe (finito o infinito), el fuerte de la ley de los grandes números tiene. Es decir, si $X_1,X_2,\ldots$ es una secuencia de yo.yo.d. variables aleatorias con finito o infinito expectativa, dejando $S_n = X_1+\cdots + X_n$, tiene $n^{-1}S_n \to {\rm E}(X_1)$ casi seguramente. El infinito expectativa caso sigue por el caso finito por la monotonía teorema de convergencia.
Si, por otro lado, ${\rm E}(X^+) = +\infty $${\rm E}(X^-) = +\infty $, $X$ no admitir una expectativa.
En este caso, debe de los siguientes debe ocurrir (un resultado por Kesten, ver Teorema 1 en el papel de La fuerte ley de los grandes números, cuando la media es indefinido, por K. Bruce Erickson):
1) Casi seguramente, $n^{-1}S_n \to +\infty$; 2) Casi seguramente, $n^{-1}S_n \to -\infty$; 3) Casi seguramente, $\lim \sup n^{ - 1} S_n = + \infty$$\lim \inf n^{ - 1} S_n = - \infty$.
EDIT: Ya que usted menciona el reciente post de las variables aleatorias, de manera que ${\rm E}[X]$ ${\rm E}[Y]$ existen, pero ${\rm E}[XY]$ no?", vale la pena subrayar la diferencia entre "$X$ tiene la expectativa" y "$X$ es integrable".
Por definición, $X$ es integrable si $|X|$ ha finito expectativa (recordemos que $|X|=X^+ + X^-$). Así, por ejemplo, la variable aleatoria $X=1/U$ donde $U \sim {\rm uniform}(0,1)$, no es integrable, sin embargo, tiene (infinito) expectativa (de hecho, $\int_0^1 {x^{ - 1} \,{\rm d}x} = \infty $). Además, cabe destacar los siguientes. Una variable aleatoria $X$ es integrable (es decir, ${\rm E}|X|<\infty$) si y sólo si
$$
\int_\Omega {|X|\,{\rm dP}} = \int_{ - \infty }^\infty {|x|\,{\rm d}F(x)} < \infty .
$$
Una variable aleatoria tiene la expectativa de si y sólo si
$$
\int_\Omega {X^ + \,{\rm dP}} = \int_{ - \infty }^\infty {\max \{ x,0\} \,{\rm d}F(x)} = \int_0^\infty {x\,{\rm d}F(x)} < \infty
$$
o
$$
\int_\Omega {X^ - \,{\rm dP}} = \int_{ - \infty }^\infty {-\min \{ x,0\} \,{\rm d}F(x)} = \int_{ - \infty }^0 {|x|\,{\rm d}F(x)} < \infty.
$$
En cualquiera de estos casos, la expectativa de $X$ está dado por
$$
{\rm E}(X) = \int_0^\infty {x\,{\rm d}F(x)} - \int_{ - \infty }^0 {|x|\,{\rm d}F(x)} \in [-\infty,\infty].
$$
Finalmente, $X$ no admitir una expectativa si y sólo si ambas $\int_\Omega {X^ + \,{\rm dP}} = \int_0^\infty {x\,{\rm d}F(x)}$ $\int_\Omega {X^ - \,{\rm dP}} = \int_{ - \infty }^0 {|x|\,{\rm d}F(x)} $ son infinitas. Así, por ejemplo, una de Cauchy variable aleatoria con función de densidad $f(x) = \frac{1}{{\pi (1 + x^2 )}}$, $x \in \mathbb{R}$, aunque simétrica, no admite una expectativa, ya que tanto $\int_0^\infty {xf(x)\,{\rm d}x}$ $\int_{ - \infty }^0 {|x|f(x)\,{\rm d}x}$ son infinitas.