estimación de la distribución de probabilidad a partir de muestras correlacionadas

Question

Quiero resolver el siguiente problema de estimación. Considere una caja negra en la que (dado a continuación) dada una entrada escalar $X \in \mathcal{X}$ , su $N$ observaciones, $Y_1, \cdots, Y_n \in \mathcal X$ se registran como salida. Aquí, $\mathcal{X} \equiv \{1, 2, \cdots, M\}$ es decir $X$ y $Y_i ~\forall i$ puede asumir $M$ valores posibles.

Las observaciones están idénticamente distribuidas, es decir $Y_i \sim \mathcal{P}(Y|X) $ . Sin embargo, no son independientes.

Me gustaría saber, cómo puedo estimar $\mathcal{P}(Y|X)$ dadas estas N observaciones. Una solución ejemplar para los símbolos binarios sería grande (es decir $X,Y_i \in \{0,1\} \forall i$ ).

Considere de nuevo el problema cuando $X,Y \in \{0,1\}$ . En este caso $\mathcal{P}(Y|X)$ es un $2 \times 2$ matriz. Me gustaría estimar $\mathcal{P}(Y|X)$ con algunas restricciones lineales en sus componentes. Por lo tanto, se prefiere algún tipo de estimador paramétrico.

                X
                |
-----------------------------------
|                                 | 
|                                 |
|                                 |
|                                 |
-----------------------------------
  |      |     |      |        | 
 Y_1    Y_2   Y_3    Y_4      Y_N

Este es un ejemplo de las observaciones del IID. Supongamos que $N = 4, X = 0$ y generar $(Y_1, Y_2, \cdots, Y_4)$ . Supongamos que tenemos 100 observaciones de este tipo de $(Y_1, Y_2, \cdots, Y_4)$ . La estimación ML de $p_0 = \mathcal{P}(Y=0|X=0) = n_0/400$ donde $n_0$ indica el número de observaciones que fueron 0. En mi caso las observaciones $(Y_1, Y_2, \cdots, Y_4)$ están idénticamente distribuidos pero no son independientes.

Answer 1

Si ambos $X$ y $Y$ toman valores en $\{0,1\}$ Hay que estimar dos cantidades $$p_1=\mathbb{P}(Y=1|X=1)=1-\mathbb{P}(Y=0|X=1)$$ y $$p_0=\mathbb{P}(Y=1|X=0)=1-\mathbb{P}(Y=0|X=0)$$ Así que esto se reduce a inferir sobre dos parámetros Bernoulli en dos problemas independientes.