Por qué romper el denominador en el Teorema de Bayes?

Question

(Soy un novato en las estadísticas. Soy un matemático y un programador y estoy tratando de construir algo así como un ingenuo filtro de spam Bayesiano.)

Me he dado cuenta de que en muchos lugares la gente tiende a descomponer el denominador en la ecuación del Teorema de Bayes. Así que en lugar de esto:

$\frac{P(A|B)\cdot P(B)}{P(A)}$

Se nos presenta con este:

$\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)}$

Usted puede ver que esta convención se usa en este artículo de la Wikipedia y en este perspicaz post por Tim Peters.

Estoy desconcertado por esto. ¿Por qué es el denominador se desglosa así? Cómo ayuda esto a las cosas? ¿Qué tiene de complicado el cálculo de $P(A)$, que en el caso de los filtros de spam sería The probability that the word "cheese" appears in an email, regardless of whether it's spam or not?

Answer 1

La respuesta corta a tu pregunta es, "la mayor parte del tiempo no sabemos lo que P(queso), y es a menudo relativamente difícil de calcular."

La no respuesta de por qué la Regla de Bayes/Teorema es normalmente declaró en la forma en que usted escribió es porque en Bayesiano problemas a los que nos han sentado en nuestro regazo - distribución previa (P(B)) y probabilidad (P(A|B), P(A|notB) anterior), y es una cuestión relativamente sencilla de la multiplicación para calcular la parte posterior (la P(B|A)). Ir a la molestia de reexpresar P(a) en su forma resumida es un esfuerzo que podría ser gastado en otro lugar.

Es posible que no parece tan complicado en el contexto de un correo electrónico, ya que, como se ha señalado con razón, es simplemente P(queso), derecho? El problema es que con más involucrados en el campo de batalla Bayesiano problemas el denominador es un feo integral, que puede o no puede tener una forma cerrada de la solución. De hecho, a veces tenemos la necesidad de sofisticados métodos de Monte Carlo sólo para aproximar la integral y batido de los números puede ser un verdadero dolor en el trasero.

Pero más al punto, por lo general, no incluso la atención de lo que P(queso). Tener en mente, estamos tratando de mejorar nuestra creencia acerca de si o no que un correo es spam, y no podía menos atención acerca de la distribución marginal de los datos (de la P(a), supra). Es sólo una constante de normalización, de todos modos, que no depende del parámetro; la ley de la suma de lava cualquier información que tenía sobre el parámetro. La constante es una molestia para calcular y en última instancia es irrelevante cuando se trata de la reducción a cero en nuestras creencias acerca de si o no el correo electrónico de spam. A veces estamos obligados a calcular, en cuyo caso la forma más rápida de hacerlo es con la información que ya tenemos: el antes y probabilidad.

Answer 2

Una de las razones para el uso de la regla de la probabilidad total es que nos ocupan a menudo el componente de probabilidades en el que la expresión y es sencillo encontrar la probabilidad marginal simplemente mediante la conexión en los valores. Para una ilustración de esto, vea el siguiente ejemplo en la Wikipedia:

• Teorema De Bayes > Ejemplo 1: Las Pruebas De Drogas

Otra razón es el reconocimiento de las formas equivalentes de la Regla de Bayes mediante la manipulación de la expresión. Por ejemplo:

$P(B|A) = \frac{P(A|B) P(B)}{P(A|B)P(B) + P(A|\lnot B)P(\lnot B)}$

Dividir a través de la RHS por el numerador:

$P(B|A) = \frac{1} {1 + \frac{P(A|\lnot B)}{P(A|B)} \frac{P(\lnot B)}{P(B)}}$

Lo que es una buena forma equivalente para la Regla de Bayes, hace aún más práctico por esto restando de la expresión original para obtener:

$\frac{P(\lnot B|A)}{P(B|A)} = \frac{P(A|\lnot B)} {P(A|B)} \frac {P(\lnot B)} {P(B)}$

Esta es la Regla de Bayes establecido en los términos de Probabilidades, es decir, posterior probabilidades en contra de B = factor de Bayes en contra de B veces antes de probabilidades en contra de B. (O usted podría invertir para obtener una expresión en términos de probabilidades para B.) El factor de Bayes es el cociente de las probabilidades de los modelos. Dado que no estamos seguros acerca de los datos subyacentes mecanismo de generación, podemos observar los datos y la actualización de nuestras creencias.

No estoy seguro de que si usted encuentra este útil, pero esperemos que no sea desconcertante; obviamente, debe trabajar con la expresión que funciona mejor para su situación. Tal vez alguien más puede canalizar con incluso mejores razones.

Answer 3

Respuestas anteriores son bastante detallado, pero de una forma intuitiva de ver por qué la $P (A)$ (es decir, dinominator en el teorema de Bayes) se divide en dos casos.

Es difícil comentar sobre ¿cuál es el $P(A)$ sin ningún tipo de conocimiento, si el correo electrónico es el jamón o el spam. Usted está en lo correcto que "queso" aparece en el spam, así como en el jamón, pero si nos fijamos en la probabilidad de aparición de "queso" dado que el correo electrónico es el jamón ($P(A | B)$, $B$ es representante de jamón), definitivamente se puede decir mucho de ella. Al menos en mi caso, no estoy recibiendo un montón de mensajes de spam que contienen queso, por lo tanto en mi caso $P(A | B)$ será alta (90%). Del mismo modo, $P(A | \neg B)$ será baja en mi caso, como no es una gran cantidad de spam que contienen la palabra queso. Básicamente, tratamos de mirar la ocurrencia del evento de interés (aquí Una) se divide en dos distintos eventos, $B$$\neg B$. Si dividimos Una en dos eventos separados, podemos decir mejor acerca de las probabilidades condicionales $P(A | B)$$P(A | \neg B)$. Con el fin de obtener el total de la probabilidad también necesitamos de peso para el condicional de probabilidades para la ocurrencia de los eventos en los que nos condición ie $P(B)$$P(\neg B)$. Por lo tanto, la expresión final $$P(A) = P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)$$