Análogo de la desigualdad de Chebyshev para momentos superiores

Question

Tengo una variable aleatoria positiva $X$ con $E[X] = 1$ y un pequeño número $k$ más momentos limitados por constantes:

$$E[(X-1)^i] = O(1) \forall i \in \{2, ..., k\}.$$

Me gustaría acotar la media de $n$ muestras independientes de $X$ . La desigualdad de Markov sólo utiliza el primer momento para obtener:

$$\Pr[\frac{1}{n}\sum_{i=1}^n x_i \geq c] \leq 1/c$$

La desigualdad de Chebyshev también utiliza el segundo momento para obtener:

$$\Pr[\frac{1}{n}\sum x_i \geq 1 + c] \leq \frac{O(1)}{nc^2}$$

lo que supone un mejor comportamiento asintótico en $n$ . Si los momentos infinitos convergen, podría utilizar Azuma/Chernoff/Hoeffding/McDiarmid para obtener

$$\Pr[\frac{1}{n}\sum x_i \geq 1 + c] \leq e^{-f(c)n}$$

para alguna función $f(c)$ . Pero qué pasa si tengo entre 2 e infinitos momentos, digamos 10 momentos. ¿Existe un teorema con mejor comportamiento asintótico para los momentos intermedios?

Answer 1

Thomas Bloom tiene razón: la demostración de la desigualdad habitual de Chebyshev puede adaptarse fácilmente al caso de momentos superiores. Sin embargo, más que mirar el enunciado del teorema y conformarse con él, creo que merece la pena profundizar en la prueba y ver exactamente qué hay que cambiar.

La prueba de la desigualdad de Chebyshev es simple y robusta, y recomiendo tomarse el tiempo para memorizarla. Es la siguiente (suponiendo que $\mathbb EX = 0$ ): $$\mathbb P( |X| > u ) = \int 1_{|X| > u} ~d\mathbb P = \frac 1 {u^2} \int u^2 1_{|X| > u} ~d\mathbb P < \frac 1 {u^2} \int |X|^2 1_{|X| > u} ~ d\mathbb P \le \frac 1 {u^2} \mathbb E|X|^2.$$

En el segundo paso, introducimos el factor de $1 = u^2 / u^2$ . Si quieres demostrar el teorema de la $p$ momento, modificar este factor a $u^p / u^p$ . Si quieres demostrar la desigualdad exponencial de Chebyshev, utiliza $\exp(ru) / \exp(ru)$ . Si quieres acotar la probabilidad por la entropía $-\mathbb E X \log X$ , a continuación, utilice el factor $-u\log u / (-u \log u)$ .

Answer 2

Existe una fácil generalización de la desigualdad de Chebyshev para momentos superiores, demostrada exactamente de la misma manera: $$ \mathbb{P}(\lvert X-\mathbb{E}(X)\rvert>\lambda)\leq\frac{\mbox{M}_p(X)}{\lambda^p}$$

para cualquier $\lambda>0$ y $p\geq2$ , donde $M_p(X)$ es el momento pth, $$\mathbb{E}(\lvert X-\mathbb{E}(X)\rvert^p).$$

Answer 3

Tom tiene razón: la prueba de la desigualdad de Chebyshev puede adaptarse fácilmente a cualquier función no negativa no decreciente. La prueba de esta generalización que prefiero tiene un principio que vale la pena recordar:

Primero encuentra una desigualdad entre variables aleatorias y luego integrarlo.

Para aplicar el principio, dejemos que $g$ denota una función no negativa no decreciente definida en $[0,+\infty)$ y $Z$ una variable aleatoria no negativa. Sea $z\ge0$ tal que $g(z)>0$ . Entonces, $$ g(z)\mathbf{1}_A\le g(Z)\ \mbox{with}\ A=[Z\ge z]. $$ Prueba: si $\omega\notin A$ la afirmación se reduce a $0\le g(Z(\omega))$ que se mantiene porque $g$ es no negativo en todas partes; si $\omega\in A$ la afirmación se reduce a $g(z)\le g(Z(\omega))$ que se mantiene porque $Z(\omega)\ge z$ y $g$ no es decreciente.

Integrando la desigualdad se obtiene $$ g(z)P(A)\le E(g(Z)), $$ y, dividiendo ambos lados por $g(z)$ hemos terminado.

El caso habitual es cuando $Z=|X-E(X)|$ y $g(z)=z$ . El caso mencionado por Thomas es cuando $Z=|X-E(X)|$ y $g(z)=z^p$ para cada positivo $p$ (y no sólo para $p\ge2$ ). Otro caso, mencionado por Tom y que está en la base de todo el campo de los principios de las grandes desviaciones, es cuando $Z=\mathrm{e}^{rX}$ para un valor no negativo $r$ y $g(z)=z$ . Pero para hacer frente a la $u\log(u)$ caso mencionado por Tom requiere ser más cuidadoso porque la función $u\mapsto u\log(u)$ no es monótona en $[0,1]$ y no de signo constante en $[0,+\infty)$ (pero todo funciona bien para $g(z)=z\log(z)$ en $[1,+\infty)$ es decir, si $Z\ge1$ casi seguro).