Entendiendo $O_p$

Question

Una cosa que siento que nunca he dominado es el concepto de $O_p$ convergencia y cómo utilizarla. Entiendo la idea básica y lo que significa acotado en probabilidad, pero siempre me cuesta entender cómo aplicarlo yo mismo. Tengo un ejemplo que espero que alguien me pueda explicar.

En realidad, tengo dos ejemplos relacionados. Si dejamos que $\epsilon_t$ sea $N(0, I)$ considere: $$ A=\frac{1}{T}\sum_{t=1}^T\epsilon_t\sum_{i=1}^{t-1}\epsilon_i'\\ B=\frac{1}{T}\sum_{t=1}^T\sum_{i=1}^{t-1}\epsilon_i\sum_{j=1}^{t-1}\epsilon_j' $$ Sé que $A\in O_p(1)$ y que $B\in O_p(T)$ pero quiero entender bien por qué. ¿Puede alguien explicar por qué son de estos órdenes? Preferiblemente de forma intuitiva más que rigurosa.

---

En cuanto a mis propios pensamientos, para $A$ La forma en que estoy pensando es que $\epsilon_t\sum_{i=1}^{t-1}\epsilon_i'$ es $O_p(1)$ Así que, esencialmente, lo que tenemos es $T$ $O_p(1)$ términos. Como también dividimos por $T$ lo que queda es $O_p(1)$ .

Para $B$ No estoy seguro de que esto sea cierto. Una idea es que tenemos dos términos (los dos $i$ et $j$ sumas) que aumentan linealmente con $T$ por lo que obtenemos $O_p(T^2)$ que se divide por $T$ para dar $O_p(T)$ . Pero, ¿es cierto en general que $O_p(T)O_p(T)=O_p(T^2)$ ?

---

Editar: Para mi última pregunta, si es cierto en general que $O_p(T)O_p(T)=O_p(T^2)$ Creo que sí. Si $X_T\in O_p(T)$ , entonces eso significa que $X_T=Y_T\times T$ , donde $Y_T\in O_p(1)$ . Así que entonces $$ O_p(T)O_p(T)=TO_p(1)TO_p(1)=T^2O_p(1)=O_p(T^2). $$

Answer 1

Para acabar con los tecnicismos $X_n = \mathcal{O}_p(a_n)=\text{Pr}\left(X_n/a_n > M\right) < \delta$ por cada $\delta > 0$ . También asumiré que la secuencia es i.i.d.

La forma en que abordo estos dos problemas es gráficamente. El primer problema es realmente una matriz triangular creciente.

$\begin{array}{lllll} & 1 & 2 & \dots & T\\ 1 & \epsilon_1\epsilon_1 & & & \\ 2 & \epsilon_2\epsilon_1 & \epsilon_2 \epsilon_2 & & \\ \vdots & & & \ddots & \\ T & \epsilon_T\epsilon_1 & \epsilon_T\epsilon_2 & \dots & \epsilon_T\epsilon_T \end{array}$

La expectativa de esta matriz es simplemente

$\begin{array}{lllll} & 1 & 2 & \dots & T\\ 1 & \sigma_{11} & & & \\ 2 & 0 & \sigma_{22} & & \\ \vdots & & & \ddots & \\ T & 0 & 0 & \dots & \sigma_{TT} \end{array}$

si cada uno de los $\sigma_{ii}$ están acotadas, entonces la suma de las expectativas dividida por $T$ están limitados por el máximo $\frac{T \sigma_{ii}}{T}$ veces alguna constante finita que puede ajustarse para satisfacer cualquier $\delta > 0$ .

El segundo problema es bastante similar, salvo que cada $i$ está añadiendo matrices triangulares de tamaño $i$ . Esto significa que usted tiene $T(T+1)/2$ expectativas no nulas. Para $\mathcal{O}_p$ al igual que otra notación big-O sólo importa el polinomio de mayor orden, por lo que la suma de $B$ está limitada por $T$ .

Si esto es un poco confuso, intente sentarse con papel y lápiz o con Excel y elabore un ejemplo sencillo con T = 3. Esto te ayudará a entenderlo mejor.

Para su Editar Recordemos que para que la última afirmación sea cierta $\int_{-\infty}^{M_1T} dX_n \int_{-\infty}^{M_2T} dY_n = \int_{-\infty}^{M_3T^2} d(X_n Y_n)$ para algunos enteros $M_1$ , $M_2$ y $M_3$ .

Que esta afirmación sea cierta depende de cómo se defina $Y_n$ et $X_n$ si son secuencias independientes, por ejemplo, cualquier elemento de $X_n$ es independiente de cualquier otro elemento de $X_n$ et $Y_n$ entonces la distribución de probabilidad se puede descomponer en el producto de las distribuciones marginales y ya está todo listo.

Si se abandona la normalidad, sin embargo, las cosas también empiezan a desmoronarse a $T$ con 2 grados de libertad estaría acotada en probabilidad, pero su producto no lo estaría.

Answer 2

Si $A_T \in \mathcal{O}_p(1)$ , lo que significa que $\{A_T/1\}$ es uniformemente ajustado o con una probabilidad limitada . Obsérvese que he añadido un $T$ subíndice. Esto se debe a que se trata de una propiedad para un familia de variables aleatorias. La familia en nuestros casos es $A_2, A_3, \ldots$ . Esta propiedad viene a decir que todas estas variables aleatorias están "bastante" acotadas por arriba y por abajo por el mismo número . Por "prácticamente" quiero decir que están acotados probabilísticamente, es decir, que la probabilidad de salirse de esos límites es despreciable. Podemos aumentar ese límite para que la probabilidad sea menor que la que queramos.

Fíjate que estoy cambiando los límites de la suma exterior, aquí. $t$ tiene que empezar en $2$ o la suma interna no tiene ningún sentido. Además, he eliminado el símbolo "primo" de la suma interna $\epsilon$ s, porque es innecesario.

La buena noticia es que no se necesitan matrices triangulares para mostrar la primera. Deja que $\epsilon > 0$ entonces podemos demostrar que existe un $M > 0$ tal que $$ P(|A_T| \ge M) < \epsilon $$ para todos $T$ . Sólo tienes que elegir $M > \epsilon^{-2}$ y observe que

\begin{align*} P(|A_T| \ge M) &= P\left(\left|\frac{1}{T}\sum_{t=2}^T\epsilon_t\sum_{i=1}^{t-1}\epsilon_i\right| \ge M \right) \\ &\le M^{-2}T^{-2}\mathbb{V}\left[\left|\sum_{t=2}^T\epsilon_t\sum_{i=1}^{t-1}\epsilon_i\right| \right] \tag{Chebyshev's} \\ &\le M^{-2}T^{-2}\mathbb{V}\left[\sum_{t=2}^T\epsilon_t\sum_{i=1}^{t-1}\epsilon_i \right] \tag{*} \\ &= M^{-2}T^{-2}\left\{\sum_{t=2}^T \mathbb{V}\left[\epsilon_t\sum_{i=1}^{t-1}\epsilon_i\right] + 2\sum_{t=2}^{T-1}\sum_{s=t+1}^T \mathbb{Cov}\left[\epsilon_t\sum_{i=1}^{t-1}\epsilon_i ,\epsilon_s\sum_{j=1}^{s-1}\epsilon_j \right] \right\} \tag{bilinearity} \\ &= M^{-2}T^{-2}\left\{\sum_{t=2}^T \mathbb{E}\left[\left(\sum_{i=1}^{t-1}\epsilon_i\right)^2\right] + 2\sum_{t=2}^{T-1}\sum_{s=t+1}^T \mathbb{Cov}\left[\epsilon_t\sum_{i=1}^{t-1}\epsilon_i ,\epsilon_s\sum_{j=1}^{s-1}\epsilon_j \right] \right\} \tag{zero mean}\\ &= M^{-2}T^{-2}\left\{\sum_{t=2}^T (t-1) + 2\sum_{t=2}^{T-1}\sum_{s=t+1}^T \mathbb{Cov}\left[\epsilon_t\sum_{i=1}^{t-1}\epsilon_i ,\epsilon_s\sum_{j=1}^{s-1}\epsilon_j \right] \right\} \tag{normality} \\ &= M^{-2}T^{-2}\left\{(T^2+T)/2 -T + 2\sum_{t=2}^{T-1}\sum_{s=t+1}^T \mathbb{Cov}\left[\epsilon_t\sum_{i=1}^{t-1}\epsilon_i ,\epsilon_s\sum_{j=1}^{s-1}\epsilon_j \right] \right\} \tag{algebra} \\ &= M^{-2}T^{-2}\left\{(T^2+T)/2 -T + 2\sum_{t=2}^{T-1}\sum_{s=t+1}^T \mathbb{Cov}\left[\sum_{i=1}^{t-1}\epsilon_t\epsilon_i , \left\{\sum_{j=1}^{t-1}\epsilon_s\epsilon_j + \epsilon_s\epsilon_t\right\} \right] \right\}\\ &= M^{-2}T^{-2}\left\{(T^2+T)/2 -T \right\} \\ &\le M^{-2} \end{align*}

Para la línea con (*), estoy utilizando el hecho de que $\mathbb{V}[|X|] \le \mathbb{V}[X] + (\mathbb{E}[X])^2$ . Para la línea superior, se puede utilizar la bilinealidad, reconocer donde las medias son cero, y luego la independencia.

En cuanto a $$ B=\frac{1}{T}\sum_{t=2}^T\sum_{i=1}^{t-1}\epsilon_i\sum_{j=1}^{t-1}\epsilon_j' = \frac{1}{T}\sum_{t=2}^T (t-1) z_t z_t' $$ puedes usar la de Chebyshev en eso de nuevo.