"minimizar $e^{-s\alpha} U(s)$ con respecto a $s$ por el hecho de ser fijo $\alpha$ "

Question

Estoy tratando de aprender el aprendizaje automático utilizando el libro " Aprender de los datos ".

Estoy trabajando con los ejercicios y problemas del libro y me he quedado atascado en el problema 1.9 de la página 37, que trata de derivar el límite de Chernoff.

He superado las partes (a) y (b), y he elaborado la prueba para:

$u_1, ..., u_N$ variables aleatorias iid, $u = \frac{1}{N}\sum_{n=1}^N u_n$ y $U(s) = \mathbb{E}_{u_n}(e^{su_n})$ para cualquier $n$ entonces

$$\mathbb{P}[u \geq \alpha] \leq (e^{-s\alpha} U(s))^N$$

En la parte (c) se pregunta por una moneda justa, en la que $\mathbb{P}[u_n = 0] = \mathbb{P}[u_n = 1] = \frac{1}{2}$ .

Se supone que debo "evaluar $U(s)$ en función de $s$ y minimizar $e^{-s\alpha}U(s)$ con respecto a $s$ por el hecho de ser fijo $\alpha$ , $0<\alpha<1$ .

No tengo la menor idea de cómo abordar esta cuestión. ¿Tengo que invocar nociones como "funciones generadoras de momentos"?

Intuitivamente, parece que sólo depende de $u_n$ en comparación con $\alpha$ aunque probablemente me equivoque.

Answer 1

$U(s)$ se define como ${\mathbb E}(e^{su_n})$ por lo que efectivamente es la función generadora de momentos de la variable aleatoria $u_n$ . Pero esto es fácil de evaular, ya que $u_n$ sólo toma dos valores, $0$ y $1$ con igual probabilidad. Así que $$ U(s):={\mathbb E}(e^{su_n}) = \sum_k e^{sk}{\mathbb P}(u_n=k)=e^0{\mathbb P}(u_n=0)+ e^s{\mathbb P}(u_n=1)=\frac12(1+e^s)\tag1. $$ Ahora multiplique (1) por $e^{-s\alpha}$ , considere el resultado como una función de $s$ y encontrar el valor de $s$ que minimiza. Se puede usar el cálculo para hacer la minimización, tratando $\alpha$ como una constante.