Aproximación de un multinomio como $p(\xi_1,\ldots,\xi_N)\propto\exp\left(-\frac{n}{2}\sum_{i=1}^N\frac{(\xi_i-p_i)^2}{p_i}\right)$

Question

Pregunta

Supongamos que tenemos una distribución multinomial con $N$ resultados posibles, con probabilidades $p_1,\ldots,p_N$ . Mostramos este $n$ veces, y denota la frecuencia observada del $i$ el resultado como $\xi_i$ . En [1] el autor afirma que la distribución del $\xi_i$ en el límite de grandes $n$ es:

$$p(\xi_1,\ldots,\xi_N)\propto\exp\left(-\frac{n}{2}\sum_{i=1}^N\frac{(\xi_i-p_i)^2}{p_i}\right).\;\;\;\;\;(1)$$

Podemos ver inmediatamente que esto debe ser una aproximación, ya que asigna probabilidades no nulas para $\xi_1+\cdots+\xi_N>1$ . Sin embargo, podemos ver que éstas tienen una probabilidad de desaparición en el límite $n\rightarrow\infty$ . Mi pregunta es cómo derivar (1) de la distribución multinomial, y demostrar que coinciden en la $n\rightarrow\infty$ ¿Límite?

Mis pensamientos

Mi primer pensamiento sería apelar al teorema del límite central. La distribución multinomial tiene media $\mu_i=p_i$ y la matriz de covarianza $\Sigma_{ij}=\delta_{ij}p_i-p_ip_j$ por lo que es de esperar que en los grandes $n$ límite para ser descrito por una gaussiana multivariante con media $\mu$ y la covarianza $\frac{1}{n}\Sigma$ . Sin embargo, las cosas se complican por el hecho de que la covarianza multinomial es singular (ya que $\xi_N$ se determina por el otro $\xi_i$ s), por lo que la gaussiana multivariante no está definida.

Para ello, podemos intentar considerar sólo la primera $\xi_1,\ldots,\xi_{N-1}$ que tienen una matriz de covarianza no singular y, por tanto, una distribución gaussiana multivariante bien definida. Tomemos la distribución Binomial $N=2$ . La frecuencia $\xi_1$ Esto significa que $p_1$ y la varianza $p_1(1-p_1)$ por lo que se describiría la gaussiana: $$\propto\exp\left(-\frac{n}{2}\frac{(\xi_1-p_1)^2}{p_1(1-p_1)}\right).\;\;\;\;\;(2)$$ La expresión (1) da: $$\propto\exp\left(-\frac{n}{2}\left(\frac{(\xi_1-p_1)^2}{p_1}+\frac{(\xi_2-p_2)^2}{p_2}\right)\right).\;\;\;\;\;(3)$$ Si sustituimos $\xi_2\rightarrow 1-\xi_1$ , $p_2\rightarrow 1-p_1$ en (3), podemos comprobar que esto da la misma respuesta que (2). He comprobado que esto también funciona para $N=4$ .

Estoy seguro de que si me limitara a sacar el álgebra para el general $N$ obtendríamos una concordancia entre el teorema central del límite y (1) cuando restringimos este último a $\xi_1+\cdots+\xi_N=1,p_1+\cdots+p_N=1$ . Sin embargo, ¿cómo podemos empezar con la distribución multinomial y derivar (1) como un límite que es válido en todas partes? Una idea sería decir que (1) llega a cero como $n\rightarrow\infty$ cuando no está en ese plano, sin embargo estoy un poco incómodo con esto ya que va a cero en todas partes excepto la media como $n\rightarrow\infty$ Así que no sé si ese argumento es suficiente.

1] Wootters, William K. "Distancia estadística y espacio de Hilbert". Physical Review D 23.2 (1981): 357.

Answer 1

Acabé resolviendo esto generalizando la prueba en Gnedenko - La teoría de la probabilidad del teorema de DeMoivre-Laplace en la sección II, que es básicamente este resultado en el caso binomial. Para futuras referencias, en caso de que alguien se tropiece con esta pregunta, la prueba se encuentra a continuación; pido disculpas por no haberla puesto en LaTeX.

Dado que la probabilidad de cualquier $m_i$ termina en la cola y va a cero como $n\rightarrow\infty$ la estrategia consiste en cambiar las variables por $x_i$ el número de desviaciones estándar de la media, que intuitivamente se espera que sea una distribución gaussiana. Mantenemos $x_i$ constante, y luego dejar que $n\rightarrow\infty$ El $x_i$ se suponen uniformemente acotados por arriba y por abajo, sin embargo esto no es un problema ya que tenemos convergencia para cualquier límite arbitrario.

Tenga en cuenta que $q_i$ se define como $1-p_i$ .