Distribución asintótica de multinomial

Question

Estoy buscando la limitación de la distribución de la distribución multinomial sobre d resultados. Es decir, la distribución de los siguientes

$$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$$

Donde $\mathbf{X_n}$ es un vector de valor variable aleatoria con densidad de $f_n(\mathbf{x})$ $\mathbf{x}$ tal que $\sum_i x_i=n$, $x_i\in \mathbb{Z}, x_i\ge 0$ y 0 para todos los otros $\mathbf{x}$, donde

$$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$$

He encontrado una forma de Larry Wasserman "Todo de Estadísticas de" Teorema 14.6, página 237 , pero por la limitación de la distribución se le da a las Normales, con una singular matriz de covarianza, así que no estoy seguro de cómo normalizar. Usted podría proyectar el vector aleatorio (d-1)-dimensional espacio para hacer la covarianza de la matriz de rango completo, pero lo de proyección a utilizar?

Actualización 11/5

Ray Koopman tiene un buen resumen del problema de singular Gaussiano. Básicamente, singular matriz de covarianza representa la perfecta correlación entre las variables, lo cual no es posible representar con una Gaussiana. Sin embargo, uno puede obtener una distribución de Gauss para el condicional densidad, condicionado por el hecho de que el valor de vector aleatorio es válido (componentes suman a $n$ en el caso anterior).

La diferencia para el condicional de Gauss, es que la inversa es reemplazado con la pseudo-inversa, y la normalización factor usa "producto de la no-cero autovalores" en lugar de "producto de todos los valores propios". Ian Frisce da vínculo con algunos detalles.

También hay una manera para expresar el factor de normalización de la condicional de Gauss sin referirse a los valores propios, aquí's una derivación

Answer 1

La covarianza es que todavía no negativa definida (por lo que es una válida multivariante de la distribución normal), pero no positiva definida: lo que esto significa es que (al menos) uno de los elementos del azar vector es una combinación lineal de los otros.

Como resultado, cualquier sorteo de esta distribución siempre va a estar en un subespacio de $R^d$. Como consecuencia, esto significa que no es posible definir una función de densidad (como la distribución se concentra en el subespacio: creo que la forma normal univariante se concentrará en la media si la varianza es cero).

Sin embargo, como se sugiere por Robby McKilliam, en este caso, puede eliminar el último elemento del vector aleatorio. La matriz de covarianza de esta reducción de vector será la matriz original, con la última columna y la fila caído, que ahora será positiva definida, y tendrá una densidad (este truco funcionará en otros casos, pero tienes que tener cuidado de que el elemento de la gota, y usted puede necesitar una caída de más de uno).

Answer 2

A mí me parece que Wasserman de la matriz de covarianza es singular, a ver, si se multiplica por un vector de $d$, es decir, $[1,1,1,\dots,1]^\prime$ de la longitud de la $d$.

Wikipedia da la misma matriz de covarianza de todos modos. Si nos limitamos sólo a una distribución binomial, a continuación, la norma teorema central del límite nos dice que la distribución binomial (después de escala adecuado) converge a la normal como $n$ obtiene grandes (ver wikipedia de nuevo). La aplicación de ideas similares que usted debería ser capaz de demostrar que una escala adecuada mulinomial se van a converger en la distribución de la normal multivariante, es decir, cada distribución marginal es sólo un binomio y converge a la distribución normal, y la variación entre ellos es conocido.

Por eso, estoy muy seguro de que usted encontrará que la distribución de $$\frac{X_n - np}{\sqrt{n}}$$ converge a la normal multivariante con cero la media y la covarianza $$\frac{C}{n}$$ donde $C$ es la matriz de covarianza de la multinomial en cuestión y $p$ es el vector de probabilidades de $[p_1,\dots,p_d]$.

Answer 3

No hay ningún problema inherente con el singular covarianza aquí. Su distribución asintótica es la singular normal. Ver http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html que da la densidad de la singular normal.

Answer 4

No es el caso que $|S_{-i}|=|S_{-j}|$ todos los $i,j$ donde $S_{-i}$ es la Multinomial matriz de covarianza con el $i$-ésima fila y la columna quitado? Dado que este es el caso, yo no entiendo lo que quieres decir por "libertad de elección" como ninguna "elección" es equivalente.