Ley débil de los grandes números para variables aleatorias dependientes con covarianza limitada

Question

Actualmente estoy atascado en el siguiente problema que consiste en demostrar la ley débil de los grandes números para una secuencia de variables aleatorias dependientes pero idénticamente distribuidas. Aquí está el enunciado completo:

• Sea $(X_n)$ sea una secuencia de dependiente variables aleatorias idénticamente distribuidas con varianza finita.

• Sea $\displaystyle S_n = \sum_{i=1}^n X_i $ denotan el $n^\text{th}$ suma parcial de las variables aleatorias $(X_n)$ .

• Supongamos que Cov $(X_i,X_j) \leq c^{|i-j|}$ para $i, j \leq n$ donde $|c| \leq 1$ .

¿Es posible demostrar que $\displaystyle \frac{S_n}{n} \rightarrow \mathbb{E}[X_1]$ en probabilidad? En otras palabras, ¿es cierto que dado cualquier $\epsilon>0$ ,

$$ \lim_{n\rightarrow \infty} \mathbb{P}\bigg[\Big|\frac{S_n}{n} - \mathbb{E}[X_1]\Big| > \epsilon\bigg] = 0$$

EDITAR: A raíz de algunos comentarios, resulta que mi planteamiento era correcto, así que me he adelantado y he respondido a mi propia pregunta a continuación.

Answer 1

Fijar $\epsilon > 0$ y $n \in \mathbb{N}$ entonces podemos usar la desigualdad de Chebyshev para ver que

$$\mathbb{P}\bigg[\Big|\frac{S_n}{n} - \mathbb{E}[X_1]\Big| > \epsilon\bigg] \leq \frac{\text{Var}\Big(\frac{S_n}{n}\Big)}{\epsilon^2}$$

donde

$$\displaystyle \text{Var}\Big(\frac{S_n}{n}\Big)= \frac{\text{Var}(S_n)}{n^2} \leq \frac{\sum_{i=1}^n\sum_{j=1}^n \text{Cov}{(X_i,X_j)}}{n^2} \leq \frac{\sum_{i=1}^n\sum_{j=1}^n c^{|i-j|}}{n^2} $$

A continuación, podemos calcular explícitamente la suma doble $\sum_{i=1}^n\sum_{j=1}^n c^{|i-j|}$ como sigue:

$$\begin{align} \sum_{i=1}^n\sum_{j=1}^n c^{|i-j|} &= \sum_{i=1}^n c^{|i-i|} + 2\sum_{i=1}^n\sum_{j=1}^{i-1} c^{|i-j|} \\ &= n + 2\sum_{i=1}^n\sum_{j=1}^{i-1} c^{|i-j|} \\ &= n + 2\sum_{i=1}^n\sum_{j=1}^{i-1} c^{i-j} \\ &= n + 2\sum_{i=1}^n c^i \frac{1 - c^{-i}}{1-c^{-1}} \\ &= n + 2\sum_{i=1}^n \frac{c^i + 1}{1-c^{-1}} \\ &= n + \frac{2c}{c-1} \sum_{i=1}^n c^{i}-1 \\ &= n + \frac{2c}{c-1} \big(\frac{1-c^{n+1}}{1-c} -n \big)\\ &= n + \frac{2c}{(c-1)^2}(c^{n+1}+1) + \frac{2c}{c-1}n\\ \ \end{align}$$

Así,

$$\lim_{n\rightarrow\infty} \mathbb{P}\bigg[\Big|\frac{S_n}{n} - \mathbb{E}[X_1]\Big| > \epsilon\bigg] = \lim_{n\rightarrow\infty} \frac{\text{Var}\Big(\frac{S_n}{n}\Big)}{\epsilon^2} \leq \lim_{n\rightarrow\infty} \frac{n + \frac{2c}{(c-1)^2}(c^{n+1}+1) + \frac{2c}{c-1}n}{n^2 \epsilon^2} = 0 $$

Viendo cómo nuestra elección de $\epsilon$ era arbitraria, la afirmación anterior es válida para cualquier $\epsilon > 0 $ y muestra que $\frac{S_n}{n} \rightarrow E[X_1]$ en probabilidad, como se desea.

Esto demuestra la validez del teorema para $c<1$ pero no para $c=1$ . Podemos extender fácilmente la demostración a todos los casos en los que $|\mbox{Cov}(X_i,X_j)|\le f_{|i-j|}$ donde $\lim_{i\to\infty}f_i=0$ . De hecho, en este caso es sencillo demostrar que $$\lim_{n\to\infty}{1\over n^2}\sum_{i=1}^n\sum_{j=1}^n \text{Cov}{(X_i,X_j)}\le \lim_{n\to\infty}{1\over n^2}\sum_{i=1}^n\sum_{j=1}^n |\text{Cov}{(X_i,X_j)}|\le \lim_{n\to\infty}{1\over n^2}\sum_{i=1}^n\sum_{j=1}^nf_{|i-j|}=0$$

Answer 2

Siento desenterrar el tema, pero tengo aquí algo que puede interesar a la gente, relacionado con este hilo.

He encontrado la siguiente variante de su problema en T. Cacoullos Ejercicios de probabilidad (Springer, 1989), exercice 254 : lo llama "teorema de Barnstein" (sic), pero no he podido encontrar ninguna pista sobre quién es este Barnstein ; si es una errata, entonces no conozco ninguna variante de WLLN por Bernstein. Aquí está el enunciado :

Sea $X_1, ..., X_n, ...$ sean variables aleatorias centradas. Si existe una constante $c>0$ tal que para cada, $i$ , $\mathbf{V}[X_i] \leq c$ y si se cumple la siguiente condición : $$\lim_{|i-j| \to +\infty} \mathrm{Cov}(X_i, X_j) = 0$$ Entonces, la débil ley de los grandes números.

Esta es una pequeña generalización de su problema. La prueba es muy similar y consiste en acotar la varianza de $S_n /n$ para concluir con Chebyshev. Para limitar la varianza, aquí está el argumento (todo es muy similar a lo que escribiste).

En primer lugar, observe que por Cauchy-Schwarz, $|\mathrm{Cov}(X_i, X_j)| \leq c$ . Por lo tanto, observando $S_n = X_1 + ... + X_n$ , $$\mathbf{V}[S_n] \leq \sum_{i=1}^{n} c + 2\sum_{i=1}^n \sum_{j=i+1}^{n}\mathrm{Cov}(X_i, X_j)$$

Elija $\epsilon >0$ Toma $N$ tal que $\forall |i-j|>N$ tenemos $\mathrm{Cov}(X_i, X_j) < \epsilon$ . Ahora bien $n$ es mayor que $N$ (para no tener problemas con los índices) dividir la suma entre $j$ antes y después $N$ por lo que tenemos $$\sum_{i=1}^n \sum_{j=1}^{i-1}\mathrm{Cov}(X_i, X_j) = \sum_{i=1}^n \sum_{j=i+1}^{i+N}\mathrm{Cov}(X_i, X_j) + \sum_{i=1}^n \sum_{j=i+N+1}^{n}\mathrm{Cov}(X_i, X_j) $$ Invocando la desigualdad triangular, tenemos

$$\left|\sum_{i=1}^n \sum_{j=1}^{i-1}\mathrm{Cov}(X_i, X_j) \right| \leq \sum_{i=1}^n Nc + \sum_{i=1}^n \sum_{j=i+N+1}^{n}\epsilon \leq nNc + n^2 \epsilon $$

Por lo tanto, $$\mathbf{V}[S_n /n] \leq \frac{c}{n} + \frac{2Nc}{n} + \epsilon $$

Esto demuestra claramente que $\mathbf{V}[S_n /n] \to 0$ como $n \to + \infty$ , terminando con la demostración del misteriosamente llamado "teorema de Barnstein". ¡Espero que esto ayude a alguien !

Answer 3

Sólo quería añadir una referencia para un resultado similar. Aparece en Algunas nuevas aplicaciones de los productos de Riesz por Gavin Brown. He adaptado la notación a su pregunta.

Proposición 1 : Supongamos que $(X_n)$ es una secuencia de variables aleatorias de módulo acotado, $E(X_n) = \mu$ para todos $n$ y que $$ \sum_{N=1}^\infty \frac{1}{N} E(|Y_N|^2) < \infty $$ donde $Y_N = \frac{1}{N} \sum_{n=1}^N (X_n - \mu)$ . Entonces $Y_N \to 0$ casi seguro.

Supongamos que existe un $M$ tal que $|X_n -\mu| \leq M$ para todos $n \in \mathbb Z^+$ . Desde $$E(|Y_N|^2) = \frac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N \text{Cov}(X_i,X_j) = \text{Var}\left(\frac{S_N}{N}\right)$$ Entonces $$ \sum_{N=1}^\infty \frac{1}{N} E(|Y_N|^2) = \sum_{N=1}^\infty \frac{1}{N^3} \text{Var}(S_N) $$ Como se muestra en la respuesta anterior, una consecuencia del supuesto de dependencia débil es que el lado derecho es finito. Por la proposición anterior, $Y_N \to 0$ casi seguro. Así que $$ Y_n = \frac{1}{N} \sum_{n=1}^N (X_n - \mu) = S_N - \mu \to 0 $$ así que $S_N \to \mu$ casi seguro.

Answer 4

Perdón de nuevo por desenterrar el tema, pero es que no puedo dejar un comentario.

Según parece, el resultado original se publicó en S. Bernshtein, "Sur la loi des grands nombres", Communications de la Societe mathematique de Kharkow. 2-ee serie, 16:1-2 (1918), 82-87. En forma difícil de leer, como corresponde a un clásico.

En el artículo de V. V. Kozlov, T. Madsen, A. A. Sorokin, "On weighted mean values of weakly dependent random variables", Moscow Univ. Math. Bull., 59:5 (2004), 36-39. Además, la nota que las condiciones:

(1). $V[X_i]c$

(2) $\lim\limits_{|i-j| \to +\infty} \mathrm{Cov}(X_i, X_j) = 0$

puede debilitarse a:

(1'). $\sum\limits_{i=1}^n\mathbf{V}[X_i] = o(n^2)$

(2'). $|\mathrm{Cov}(X_i, X_j)| \le \varphi(|i-j|)$ donde $\frac1n\sum\limits_{i=1}^n\varphi(i) \to 0$ .

Por desgracia, ambos enlaces están en ruso.