Pregunta sobre la prueba de Vershynin de la desigualdad de Bernstein

Question

He estado estudiando "High-dimensional Probability" de Vershynin y tengo algunas dudas sobre la demostración de la desigualdad de Bernstein (Tma 2.8.2). Se refiere al siguiente paso: (Quizás notar que $(X_i)_i$ es una secuencia finita de variables aleatorias subexponenciales, independientes y de media cero)

Por una propiedad de las variables aleatorias subexponenciales, podemos acotar su función generadora de momentos de la siguiente manera para $|\lambda| \leq \frac{c}{\max \|X_i\|_{\phi_1}}$:

$$\mathbb{E}[\exp (\lambda X_i)] \leq \exp (C \lambda^2 \|X_i\|_{\phi_1}^2).$$

Así obtenemos (de un paso anterior, notar $S := \sum X_i$) $$ \mathbb{P}(S \geq t) \leq \exp (-\lambda t + C \lambda^2 \sigma^2) \quad (*)$$ donde $\sigma^2 = \sum_{i=1}^N \|X_i\|_{\phi_1}^2$. Ahora minimizamos esta expresión en $\lambda$ con respecto a la restricción y obtenemos una elección óptima de

$$\lambda = \min \left(\frac{t}{2C\sigma^2}, \frac{c}{\max_i \|X_i\|_{\phi_1}}\right).$$

Así, con esto obtenemos $$ \mathbb{P}(S \geq t) \leq \exp \left(-\min \left(\frac{t^2}{4C\sigma^2}, \frac{ct}{2 \max_i \|X_i\|_{\phi_1}}\right)\right).$$

Ahora, mi problema está con este último paso. Entiendo cómo obtenemos el primer término en el mínimo simplemente insertando el primer valor posible de $\lambda$ en (*), y pensaría que para obtener el segundo solo tengo que insertar el segundo valor posible, pero no veo cómo obtener entonces el segundo valor... ¿me estoy perdiendo algo?

---

Si deseas comprobar el material fuente, el libro está disponible en línea de forma gratuita en

https://www.math.uci.edu/~rvershyn/papers/HDP-book/HDP-book.pdf

Answer 1

Después de hablar sobre esto con un amigo, creo que he encontrado una respuesta. Tenga en cuenta que podemos reescribir $$ -\lambda t + C \lambda^2 \sigma^2 = -\lambda(t - C \lambda \sigma^2)$$ y $$ t - C \lambda \sigma^2 = t - \min \left(\frac{t}{2}, \frac{cC\sigma^2}{\max \|X_i\|_{\phi_1}} \right) $$ cuando se sustituye el valor óptimo para $\lambda$. Ahora, podemos observar que el mínimo anterior es menor o igual a $\frac{t}{2}$, y por lo tanto $$ \exp (-\lambda t + C \lambda^2 \sigma^2) \leq \exp (-\lambda \frac{t}{2}). \quad (**)$$ Entonces, usando esto se obtiene la desigualdad anterior simplemente sustituyendo $\lambda$ en $(**)$.

Answer 2

Tenga en cuenta que $$\frac{t}{2 C \sigma^2} > \frac{c}{\max_i \Vert X_i \Vert_{\psi_1}} \iff \sigma^2 < \frac{t \max_i \Vert X_i \Vert_{\psi_1}}{2 cC}.$$ Por lo tanto, si el óptimo $\lambda = c / \max_i \Vert X_i \Vert_{\psi_1}$, podemos usar la desigualdad anterior para $\sigma^2$ en su ecuación $(*)$; simplificar conduce al segundo caso del límite de probabilidad reclamado como expresado.