Refinando el teorema del límite central en varsas aleatorias discretas

Question

Deje que $x_i$ ser iid variables aleatorias discretas no negativas $E[x_i]=N/M$ para algunos números enteros $N, M$ , varianza $ \sigma ^2$ y momentos más altos conocidos (finitos).

Entonces, la suma $ \displaystyle S = \sum_ {i=1}^M x_i$ tendrá $E[S]=N$ .

Me interesa la probabilidad de que $S$ toma ese valor preciso: $A=P \left (S=E[S] \right )$ .

Aplicando el teorema del límite central, puedo escribir

$ \displaystyle A \approx \frac {1}{ \sqrt { 2 \pi M \sigma ^2}}$

Mi pregunta es: ¿puede refinarse esta aproximación?

Añadido: Para añadir algún ejemplo de motivación de contexto:

Consideremos $X$ como una suma de $N$ Bernoullis (0/1) con prob= $p$ de tal manera que $E(X)=E(N p)$ es un número entero. Podemos calcular exactamente la probabilidad de que $X$ alcanza su valor esperado, es un Binomio:

$ \displaystyle P = P(X= N p) = {N \choose N p} p^{N p} q^{N q} \hspace {2cm}$ [1a]

También podríamos obtener un valor aproximado de esa probabilidad usando el CTL (Teorema del Límite Central)

$ \displaystyle P \approx \frac {1}{ \sqrt {2 \pi N p q}} \hspace {2cm} $ [2a]

Si tomamos [1a] y usamos la aproximación de Stirling, con $K \approx (K/e)^K \sqrt {2 \pi K}$ obtenemos el mismo valor. Bien.

Ahora, podemos tratar de refinar la aproximación, tanto de [1a] como de [2a].

Conectando el siguiente orden de aproximación de Stirling en [1a], obtenemos (no me equivoco)

$ \displaystyle P \approx \frac {1}{ \sqrt {2 \pi N p q}} \left (1 - \frac {1- p q}{12 N p q} \right ) \hspace {2cm} $ [1b]

Para refinar el CTL, uno puede pensar en

• usar alguna "corrección de continuidad" para evaluar con mayor precisión la integral gaussiana (hipotética)

• añadir algunos términos de las expansiones de Edgeworth

• no hacer nada de lo anterior - porque el CLT no justifica esos procedimientos en este escenario (sólo un valor de una variable discreta)

No estoy seguro de cuál es el camino correcto.

Pero intentemos la primera: la siguiente aproximación de orden de la integral me da (de nuevo, si no me equivoco)

$ \displaystyle P \approx \frac {1}{ \sqrt {2 \pi N p q}} \left (1 - \frac {1}{24 N p q} \right ) \hspace {2cm} $ [2b]

Esto no es lo mismo que [1b], pero está cerca.

¿Esto es sólo casual? ¿Fue algo razonable? Debería mirar (también/en lugar de eso) después de las expansiones de Edgeworth?

Answer 1

Para una variable aleatoria discreta $X$ con el apoyo $ \mathbb {Z}$ la transformación de Fourier de la distribución de probabilidad $P_x \equiv P[X=x]$ está dada por $$ \tilde {P}(k) = \sum_ {x=- \infty }^{ \infty } e^{ikx} P_x = E \left [e^{ikx} \right ] = e^{h(k)}, $$ donde $$ h(k) = \sum_ {n=1}^{ \infty } \kappa_ {n} \frac {(ik)^{n}}{n!} $$ es el logaritmo natural de la función característica de $X$ y $ \kappa_ {n}$ es el $n$ el cúmulo de $X$ . Recuerde que $ \kappa_ {1} = \mu $ es la media y $ \kappa_ {2} = \sigma ^2$ es la variación. La probabilidad de que una suma de $M$ variables independientes $X_i$ con la misma distribución es exactamente $x \in { \mathbb {Z}}$ es entonces $$ \begin {eqnarray} P \left [ \sum_ {i=1}^{M} X_i = x \right ] &=& \int_ {- \pi }^{ \pi } \frac {dk}{2 \pi } e^{-ikx} \tilde {P}(k)^M \\ &=& \int_ {- \pi }^{ \pi } \frac {dk}{2 \pi } e^{Mh(k)-ikx} \\ &=& \int_ {- \pi }^{ \pi } \frac {dk}{2 \pi } e^{ik(M \mu - x) - \frac {1}{2}M \sigma ^2 k^2} \exp\left ( \sum_ {n=3}^{ \infty }M \kappa_ {n} \frac {(ik)^{n}}{n!} \right ). \end {eqnarray} $$ Considerando el caso deseado en el que $x = M \mu \in { \mathbb {Z}}$ y haciendo el cambio de variable $k \rightarrow k/( \sigma\sqrt {M})$ Tenemos $$ P \left [ \sum_ {i=1}^{M} X_i = M \mu\right ] = \frac {1}{ \sigma\sqrt {2 \pi M}} \int_ {- \pi\sigma\sqrt {M}}^{ \pi\sigma\sqrt {M}} d \Phi (k) \exp\left ( \sum_ {n=3}^{ \infty } \sigma ^{-n}M^{1- \frac {1}{2}n} \kappa_ {n} \frac {(ik)^{n}}{n!} \right ), $$ donde $d \Phi (k) = \phi (k) dk$ es la distribución normal estándar (con media $0$ y la variación $1$ ). Aquí asumimos que la decadencia exponencial se aleja rápidamente de $k=0$ así que podemos reemplazar los límites de la integración por $ \pm\infty $ . Luego, expandiendo la exponencial en potencias inversas de $M$ y usando el hecho de que el $n$ El momento central de la distribución normal estándar desaparece para impar $n$ y es igual a $(n-1)!!$ para incluso $n$ obtenemos lo siguiente: $$ P \left [ \sum_ {i=1}^{M} X_i = M \mu\right ] = \frac {1}{ \sigma\sqrt {2 \pi M}} \left (1 + \frac { \kappa_4 }{8M \sigma ^4} - \frac {5 \kappa_3 ^2}{24M \sigma ^6} + O(M^{-2}) \right ). $$ Esta es esencialmente la expansión de Edgeworth. Si $X$ es la distribución de Bernoulli con probabilidad de éxito $p = \frac {1}{2}(1+a)$ (y del fracaso $q= \frac {1}{2}(1-a)$ ), entonces es sencillo verificar que $$ \begin {eqnarray} \kappa_2 &=& \sigma ^2 = pq = \frac {1}{4}(1-a^2) \\ \kappa_3 &=& \frac {1}{4}(1-a^2)(-a) = - \frac {1}{4}a(1-a^2) \\ \kappa_4 &=& \frac {1}{8}(1-a^2)(3a^2-1), \end {eqnarray} $$ y por lo tanto $$ \begin {eqnarray} \frac {5 \kappa_3 ^2}{24 \sigma ^6} &=& \frac {5a^2}{6(1-a^2)} \\ \frac { \kappa_4 }{8 \sigma ^4} &=& \frac {3a^2 - 1}{4(1-a^2)}, \end {eqnarray} $$ para un término de corrección total proporcional a $$ - \frac {5 \kappa_3 ^2}{24M \sigma ^6} + \frac { \kappa_4 }{8M \sigma ^4} = \frac {9a^2-3-10a^2}{12M(1-a^2)} = - \frac {3+a^2}{12M(1-a^2)} = - \frac {1-pq}{12Mpq}, $$ que concuerda con la aproximación de Stirling al resultado exacto.