¿Por qué nadie utilice el Bayesiano Naive Bayes multinomial clasificador?

Question

Así, en (sin supervisión) texto de modelado, Latente de Dirichlet Asignación (LDA) es un Bayesiano versión Probabilístico de Análisis Semántico Latente (PLSA). Esencialmente, LDA = PLSA + antes de Dirichlet sobre sus parámetros. Mi entendimiento es que la LDA es ahora la referencia y el algoritmo está implementado en varios paquetes, mientras que PLSA no debe ser usado nunca más.

Pero en (supervisado) de categorización de texto, se podría hacer exactamente lo mismo para el Naive Bayes multinomial clasificador y poner una de Dirichlet previo sobre los parámetros. Pero no creo que jamás he visto a nadie hacer eso, y la "estimación" de la versión de Naive Bayes multinomial parece ser la versión implementada en la mayoría de los paquetes. ¿Hay alguna razón para que?

Answer 1

Aquí es un buen documento, que aborda algunos de los 'sistémica' deficiencias de la Naive Bayes Multinomial (MNB) clasificador. La idea es que usted puede aumentar el rendimiento de la MNB a través de algunos ajustes. Y no mencionan el uso de (uniforme) de Dirichlet de los priores.

En general, si usted está interesado en la MNB y usted no ha leído este papel, sin embargo, se recomienda encarecidamente a hacerlo.

También encontré un acompañamiento MSc tesis por la misma persona o personas, pero no lo he leído yo mismo todavía. Usted puede comprobar a cabo.

Answer 2

Sospecho que la mayoría de NB implementaciones de permitir la estimación de las probabilidades condicionales con la corrección de Laplace, que ofrece un MAPA de la solución a la Bayesiana NB clasificador (con un particular antes de Dirichlet). Como @Zhubarb (+1) puntos, Bayesiano tratamientos de NB clasificadores ya han sido preparadas y aplicadas (Rennie tesis/trabajos son bien vale la pena leer). Sin embargo, la independencia de la asunción de NB es casi siempre mal, en cuyo caso, haciendo que el modelo más fuertemente dependiente de la asunción (a través de un completo tratamiento Bayesiano) podría no ser una buena cosa para hacer.

Answer 3

No creo en lo que usted describe es cierto. Los modelos probabilísticos para la LDA y MNB son diferentes.

Una diferencia principal entre los dos es que en el modelo generativo para la LDA, cuando una palabra se dibuja, en primer lugar un tema para que la palabra es elegida y, a continuación, una palabra de que el tema de la distribución es el elegido. I. o.w. cada palabra en un documento puede ser obtenido a partir de un tema diferente.

En el modelo generativo para MNB, el documento se le asigna una clase y todas las palabras en que el documento se extraen de la (misma) la distribución de esa clase.