Clasificador Bayes Número necesario de parámetros

Question

Estoy intentando comprender los clasificadores bayesianos, pero tengo la siguiente duda:

Supongamos que tenemos un vector $X=(X_1,..X_n)$ y $Y$ donde cada $X_i$ y $Y$ tienen valores booleanos. Estamos intentando averiguar $P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$ . Los apuntes de clase que estoy leyendo decían que para estimar $P(X_1,...,X_n|Y)$ necesitamos estimar $2(2^n-1)$ parámetros. ¿Qué significa y cómo se obtiene? Para cada $X_i$ hay $2^n$ valores posibles y hay 2 valores posibles para $Y$ . ¿Cómo conseguimos $2(2^n-1)$ ? Me refiero a cada $Y$ debemos tener en cuenta $2^n$ que nos dan un total de $2^{n+1}$ parámetros a considerar, ¿por qué restamos 2?

Answer 1

Aquí tenemos $X_i, Y$ variables binarias.

• Considere en primer lugar $Y=0$ necesitamos tener $P(X|Y=0)$ para $2^n$ diferentes valores de $X=X_1,X_2,\ldots,X_n$ .

• Pero también sabemos $\sum\limits_{X_i\in\{0,1\}}P(X_1,X_2,\ldots,X_n|Y=0)=1$ siendo una función de masa de probabilidad.

• Esto reduce el número de parámetros a estimar en 1, como se muestra a continuación.

• Si estimamos los valores de probabilidad de todas las asignaciones de valores booleanos excepto una para $X_i$ s, por ejemplo, consideremos la estimación de probabilidades para todas las asignaciones excepto una específica, a saber, $V=\{X_1:b_1,\ldots,X_n:b_n\}$ es decir, estimar para un total de $2^n-1$ y definamos $p=\sum\limits_{\{0,1\}^n - V}P(X_1,X_2,\ldots,X_n|Y=0)$ es decir, la suma de todos los $2^n-1$ probabilidades estimadas, entonces el valor de $P(X=V|Y=0)$ ya no es necesario estimarlo, puede calcularse directamente como $P(X=V|Y=0)=1-p$ .

• Por lo tanto, basta con estimar $2^n-1$ parámetros para este caso $Y=0$ .

• Del mismo modo, necesitamos estimar $2^n-1$ valores de los parámetros correspondientes al caso $Y=1$ es decir, para $P(X|Y=1)$ .

• Por lo tanto, el número total de parámetros a estimar = $2(2^n-1)=2^{n+1}-2$