Estimador de máxima verosimilitud de la distribución conjunta dada sólo marginal cuenta

Question

Deje $p_{x,y}$ ser una distribución conjunta de dos variables categóricas $X,Y$,$x,y\in\{1,\ldots,K\}$. Decir $n$ de las muestras fueron extraídas de esta distribución, pero sólo se nos da la marginal de la cuenta, es decir, por $j=1,\ldots,K$:

$$ S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, $$

¿Cuál es el estimador de máxima verosimilitud para $p_{x,y}$, determinado $S_j,T_j$? Es esto conocido? Computacionalmente factible? Hay otros razonable enfoques a este problema aparte de ML?

Answer 1

Este tipo de problema se ha estudiado en el papel "Los datos de Aumento en Multi-forma de Tablas de Contingencia Con Marginales Fijos Totales" por Dobra et al (2006). Deje $\theta$ el valor de los parámetros del modelo, vamos a $\mathbf{n}$ denotar la inadvertido entero de la tabla de conteo para cada una de las $(x,y)$ par, y deje $C(S,T)$ el conjunto entero de las tablas cuyos marginal cuenta la igualdad de $(S,T)$. Entonces la probabilidad de observar el marginal cuenta $(S,T)$ es: $$ p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta) $$ donde $p(\mathbf{n} | \theta)$ es la distribución de muestreo multinomial. De esta forma se define la probabilidad de la función de ML, pero la evaluación directa es imposible, excepto para los pequeños problemas. El enfoque que se recomienda es de MCMC, donde alternativamente actualización de $\mathbf{n}$ $\theta$ mediante el muestreo de una propuesta de distribución y aceptar el cambio de acuerdo a la Metropolis-Hastings aceptación de la relación. Esto podría ser adaptado a encontrar una máxima aproximada de más de $\theta$ usando Monte Carlo EM.

Un enfoque diferente sería el uso de métodos variacionales para aproximar la suma de $\mathbf{n}$. La marginal de restricciones puede ser codificado como un factor gráfico y la inferencia sobre $\theta$ podría llevarse a cabo utilizando la Expectativa de Propagación.

A ver por qué este problema es difícil y no admite una solución trivial, considere el caso de $S=(1,2), T=(2,1)$. Tomando $S$ como la fila de sumas y $T$ como la columna de sumas, hay dos posibles tablas de cuenta: $$ \begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix} $$ Por lo tanto, la probabilidad de la función es $$ p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22} $$ El MLE para este problema es $$ \hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix} $$ que corresponde a suponiendo que la tabla de la izquierda. Por el contrario, la estimación que se obtendría suponiendo que la independencia es $$ q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix} $$ el que tiene una menor probabilidad de valor.

Answer 2

Como ha sido señalado por @Glen_b, esto es insuficientemente especificado. No creo usted puede usar al máximo la probabilidad de que a menos que usted puede especificar completamente la probabilidad.

Si estaban dispuestos a asumir la independencia, entonces el problema es bastante simple (por cierto, creo que la solución sería la máxima entropía solución que ha sido sugerido). Si usted no está dispuesto ni en condiciones de imponer una estructura adicional en su problema y usted todavía desea algún tipo de aproximación a los valores de las celdas, puede ser que usted podría utilizar el Fréchet–Hoeffding cópula límites. Sin supuestos adicionales, no creo que se pueda ir más lejos.

Answer 3

Edit: Esta respuesta está basada en una suposición incorrecta de que la probabilidad de que el marginal dado cuenta $p_{x,y}$ es sólo una función de las probabilidades marginales $p_x = \sum_y p_{x,y}$$p_y = \sum_x p_{x,y}$. Todavía estoy pensando.

Mal las cosas de la siguiente manera:

Como se mencionó en un comentario, el problema con la búsqueda de "la" máxima verosimilitud estimador $p_{x, y}$ es que no es único. Por ejemplo, considere el caso con el binario $X, Y$ y marginales $S_1 = S_2 = T_1 = T_2 = 10$. Los dos estimadores

$$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$$

tienen las mismas probabilidades marginales $p_x$ $p_y$ en todos los casos, y por lo tanto tienen iguales probabilidades (ambos de los cuales maximizar la probabilidad de la función, como se puede comprobar).

---

De hecho, no importa lo que los marginales son (siempre y cuando dos de ellos son distintos de cero en cada dimensión), el de máxima verosimilitud, la solución no es única. Voy a probar esto para el binario caso. Deje $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ ser una máxima probabilidad de la solución. Sin pérdida de generalidad supongamos $0 < a \le d$. A continuación, $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$ tiene el mismo marginales y por tanto es también una máxima probabilidad de la solución.

---

Si quieres , además, aplicar un máximo de entropía de restricción, entonces no obtener una solución única, que como F. Tussell declarado es la solución en la que $X, Y$ son independientes. Usted puede ver esto como sigue:

La entropía de la distribución es $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$; de maximizar sujeto a $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ (equivalentemente, $\vec g(p) = 0$ donde$g_x(p) = \sum_y p_{x,y} - p_x$$g_y(p) = \sum_x p_{x,y} - p_y$) utilizando multiplicadores de Lagrange da la ecuación:

$$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p) $$

Todos los gradientes de cada una de las $g_k$ 1, para coordinar-sabias esto funciona a

$$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$$

además de la original de las limitaciones de $\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$. Usted puede verificar que esto es satisfecho al$e^{1/2 - \lambda_x} = p_x$$e^{1/2 - \lambda_y} = p_y$, dando $$p_{x,y} = p_xp_y.$$