Acotada en probabilidad ($o_{P}$)

Question

En Larry Wasserman las notas de la conferencia en $o_{P}$$O_{P}$, yo no soy capaz de seguir la derivación del ejemplo siguiente, en la página 9.

Considere la posibilidad de $m$ monedas con las probabilidades de $p_{1}, \ldots ,p_{m}$. Entonces \begin{align*} \mathbb{P}(\max_{j} | \hat p_j - p_{j}| > \epsilon) & \le \sum_{j=1}^{m} \mathbb{P}(\hat p_{j} - p_{j}) \quad \text{(Union bound)} \\ & \le \sum_{j=1}^{m} 2 e^{-2 n \epsilon^{2}} \quad \text{(Hoeffding's inequality)} \\ & = 2 m e^{-2 n \epsilon^{2}} \end{align*}

Pensé en finales como $n \rightarrow \infty$ obtenemos $\mathbb{P}(\max_{j} | \hat p_{j} - p_{j}| > \epsilon) \rightarrow 0$ y por lo tanto

$$ \max_{j} | \sombrero p_{j} - p_{j}| = o_{P} (1) $$

Pero el autor de los límites $m$ en términos de $n$ como sigue:

Supongamos $m \le e^{n^{\gamma}}$ donde $0 \le \gamma \le 1$. Entonces \begin{align*} \mathbb{P}(\max_{j} | \hat p_{j} - p_{j}| > \epsilon) & \le 2 m e^{-2 n \epsilon^{2}} \\ & = 2 \exp(-(2 n \epsilon^{2} - \log m)) \\ & \le 2 \exp(-(2 n \epsilon^{2} - n^{\gamma})) \rightarrow 0 \end{align*}

A continuación, concluye $$ \max_{j} | \sombrero p_{j} - p_{j}| = o_{P} (1) $$

• La necesidad de delimitación $m \le e^{n^{\gamma}}$ es para evitar los casos de $m$ es grande. Es mi entendimiento correcto?
• ¿Qué sucede si el $m \le e^{n^{\gamma}}$ no está satisfecho? Podemos probar que no es convergente?

Answer 1

Ajuste de la notación de Wasserman notas un poco, supongo que el problema puede ser reformulado como este.

Ha $Y^{(i)}_1,\dots,Y^{(i)}_n$ independientes e idénticamente distribuidas $Ber(p^{(i)})$$i=1,\dots,m$.

Definir las estimaciones $\hat{p}^{(i)}_n=(1/n)\sum_{j=1}^n Y^{(i)}_j$$i=1,\dots,m$.

Luego, utilizando subadditivity y Hoeffding la desigualdad, tenemos

$$ P\left(\max_{1\leq i\leq m} |\sombrero{p}^{(i)}_n - p^{(i)}| > \epsilon\right) \leq \sum_{i=1}^m P\left(|\sombrero{p}^{(i)}_n - p^{(i)}| > \epsilon\right) \leq \sum_{i=1}^m 2 e^{-2n\epsilon^2} = 2 m e^{-2n\epsilon^2} = (*) \, . $$

Ahora, si el número de monedas de $m$ es fijo, es claro que $(*)\to 0$$n\to\infty$, y tenemos el resultado deseado: $\max_{1\leq i\leq m} |\hat{p}^{(i)}_n - p^{(i)}|=o_P(1)$.

Pero Wasserman parece hacer más y permite a $m$ a crecer con $n$. En este caso, mientras los $m\leq e^{n^\gamma}$$0\leq\gamma<1$,$(*) \leq 2\exp(-(2n\epsilon^2-n^\gamma)) \to 0$$n\to\infty$, y tenemos la misma conclusión de que el caso anterior.