Desigualdades de probabilidad

Question

Estoy buscando algunas desigualdades de probabilidad para sumas de variables aleatorias no limitadas. Agradecería mucho si alguien puede proporcionarme algunas ideas.

Mi problema es encontrar una cota superior exponencial sobre la probabilidad de que la suma de variables aleatorias i.i.d. no limitadas, que en realidad son la multiplicación de dos gaussianas i.i.d., supere algún valor determinado, es decir, $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ où $X = \sum_{i=1}^{N} w_iv_i$ , $w_i$ y $v_i$ se generan i.i.d. a partir de $\mathcal{N}(0, \sigma)$ .

He intentado utilizar el límite de Chernoff utilizando la función generadora de momentos (MGF), el límite derivado viene dado por:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

donde $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ es el MGF de $X$ . Pero el límite no es tan estricto. La cuestión principal de mi problema es que las variables aleatorias no están acotadas, y desgraciadamente no puedo utilizar la cota de la desigualdad de Hoeffding.

Estaré encantado si me ayudas a encontrar algún límite exponencial ajustado.

Answer 1

Usando el límite de Chernoff que sugeriste para algunos $s\le 1/(2\sigma^2)$ que se especificará más adelante, \[ P[X>t] \le \exp (-st) \exp\Big (-(N/2) \log (1- \sigma ^4s^2) \Big ) \le \exp (-st + \sigma ^4s^2 N) \] donde la segunda desigualdad se mantiene gracias a $-\log(1-x)\le 2x$ para cualquier $x\in(0,1/2)$ . Ahora toma $t=\epsilon \sigma^2 N$ y $s=t/(2\sigma^4N)$ el lado derecho se convierte en $\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$ que da como resultado \[ P[X> \epsilon \sigma ^2 N] \le \exp (- \epsilon ^2 N/4). \] para cualquier $\epsilon\in(0,1)$ .

Otra vía es aplicar directamente desigualdades de concentración como la desigualdad de Hanson-Wright, o desigualdades de concentración para el caos gaussiano de orden 2 que engloba la variable aleatoria que nos interesa.

Enfoque más sencillo sin utilizar la función generadora de momentos

Toma $\sigma=1$ para simplificar (si no, se puede reescalar dividiendo por $\sigma^2$ ).

Escriba $v=(v_1,...,v_n)^T$ y $w=(w_1,...,w_n)^T$ . Usted está pidiendo límites superiores en $P(v^Tw>\epsilon N)$ .

Dejemos que $Z= w^T v/\|v\|$ . Entonces $Z\sim N(0,1)$ por la independencia de $v,w$ y $\|v\|^2$ es independiente de $Z$ con el $\chi^2$ distribución con $n$ grados de libertad.

Por los límites estándar de la normal estándar y $\chi^2$ variables aleatorias, $$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2). $$ Si se combina con el límite de la unión se obtiene un límite superior de $P(v^Tw>\epsilon N)$ de la forma $ 2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$ .

Answer 2

El límite que se obtiene es de orden $e^{-\epsilon}$ como $\epsilon \to \infty$ . No creo que se pueda hacer mucho mejor para el general $\epsilon$ . De la Página de Wikipedia sobre Variables de producto la distribución de $w_i v_i$ es $K_0(z)/\pi$ donde $K_0$ es una función de Bessel modificada. A partir de (10.25.3) en el Lista de funciones DLMF , $K_0(t) \sim e^{-t}/\sqrt{t}$ de manera que para $x$ suficientemente grande $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$ que no va a dar un límite sub-Gaussiano.