Cálculo analítico del error del clasificador de Bayes

Question

Si dos clases $w_1$ y $w_2$ tienen una distribución normal con parámetros conocidos ( $M_1$ , $M_2$ como sus medios y $\Sigma_1$ , $\Sigma_2$ son sus covarianzas) ¿cómo podemos calcular teóricamente el error del clasificador de Bayes para ellos?

Supongamos también que las variables están en un espacio de N dimensiones.

Nota: Una copia de esta pregunta también está disponible en https://math.stackexchange.com/q/11891/4051 que sigue sin respuesta. Si alguna de estas preguntas es respondida, la otra será eliminada.

Answer 1

No hay una forma cerrada, pero podrías hacerlo numéricamente.

Como ejemplo concreto, consideremos dos gaussianos con los siguientes parámetros

$$\mu_1=\left(\begin{matrix} -1\\\\ -1 \end{matrix}\right), \mu_2=\left(\begin{matrix} 1\\\\ 1 \end{matrix}\right)$$

$$\Sigma_1=\left(\begin{matrix} 2&1/2\\\\ 1/2&2 \end{matrix}\right),\ \Sigma_2=\left(\begin{matrix} 1&0\\\\ 0&1 \end{matrix}\right)$$

La frontera del clasificador óptimo de Bayes corresponderá al punto en el que dos densidades son iguales

Como su clasificador elegirá la clase más probable en cada punto, necesita integrar sobre la densidad que no es la más alta para cada punto. Para el problema anterior, corresponde a los volúmenes de las siguientes regiones

Puedes integrar dos piezas por separado utilizando algún paquete de integración numérica. Para el problema anterior obtengo 0.253579 utilizando el siguiente código de Mathematica

dens1[x_, y_] = PDF[MultinormalDistribution[{-1, -1}, {{2, 1/2}, {1/2, 2}}], {x, y}];
dens2[x_, y_] = PDF[MultinormalDistribution[{1, 1}, {{1, 0}, {0, 1}}], {x, y}];
piece1 = NIntegrate[dens2[x, y] Boole[dens1[x, y] > dens2[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece2 = NIntegrate[dens1[x, y] Boole[dens2[x, y] > dens1[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece1 + piece2

Answer 2

Parece que se puede hacer esto de dos maneras, dependiendo de las suposiciones del modelo que se quiera hacer.

Enfoque Generativo

Asumiendo un generativo para los datos, también es necesario conocer las probabilidades a priori de cada clase para una declaración analítica del error de clasificación. Busque Análisis discriminante para obtener la frontera de decisión óptima en forma cerrada, y luego calcular las áreas en los lados equivocados de la misma para cada clase para obtener las tasas de error.

Supongo que este es el enfoque que pretende su invocación de el El clasificador Bayes, que se define sólo cuando se especifica todo sobre el proceso de generación de datos. Dado que esto rara vez es posible, siempre vale la pena considerar también el

Enfoque discriminatorio

Si no quiere o no puede especificar las probabilidades de clase a priori, puede aprovechar el hecho de que la función discriminante puede, en muchas circunstancias (aproximadamente, distribuciones condicionales de clase de la familia exponencial), ser modelada directamente mediante un modelo de regresión logística. El cálculo de la tasa de error es entonces el del modelo de regresión logística correspondiente.

Para una comparación de enfoques y una discusión de los índices de error, Jordania 1995 y Jordania 2001 y las referencias pueden ser de interés.

Answer 3

Aquí podría encontrar varias pistas para su pregunta, tal vez no esté la respuesta completa pero sí partes muy valiosas de la misma. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2766788/

Answer 4

En la clasificación con clases equilibradas, la tasa de error de Bayes (BER) es exactamente igual a $(1 - TV) / 2$ , donde $TV$ es la distancia de variación total entre las distribuciones condicionales +ve y -ve de las características. Véase Teorema 1 de este documento .

Para completar, no es difícil encontrar buenas referencias que calculen la TV entre distribuciones gaussianas multivariantes.