Derivados modelo matemático de pLSA

Question

Después de saber cómo LSA funciona, me fui a seguir leyendo en pLSA pero realmente no podía hacer sentido de la fórmula matemática. Esto es lo que me sale en la wikipedia (otros trabajos académicos/tutorial de mostrar de forma similar)

\begin{align} P(w,d) & = \sum_{c} P(c) P(d|c) P(w|c)\\ & = P(d) \sum_{c} P(c|d) P(w|c)\\ \end{align}

Dejé de tratar de derivar, y encontramos este lugar

\begin{align} P(c|d) & = \frac{P(d|c)P(c)}{P(d)}\\ P(c|d)P(d) & = P(d|c)P(c)\\ P(w|c)P(c|d)P(d) & = P(w|c)P(d|c)P(c)\\ P(d) \sum_{c} P(w|c)P(c|d) & = \sum_{c} P(w|c)P(d|c)P(c) \end{align}

¿Cómo funciona la suma que aparece en la última línea? Actualmente estoy leyendo a través de algún tutorial en Inferencia Bayesiana (aprendido básicas reglas de probabilidad Bayesiano y el teorema de antes, pero no puede ver realmente les sea útil suficiente aquí).

Answer 1

Estoy asumiendo que usted desea derivar:

\begin{align*} P(w,d) = \sum_{c} P(c) P(d|c) P(w|c) &= P(d) \sum_{c} P(c|d) P(w|c) \end{align*}

Además, esto es similar a Probabilística de la indexación semántica latente (cf. Blei, Jordania, y Ng (2003) Latente Asignación de Dirichlet. JMLR sección 4.3). PLSI postula que un documento de la etiqueta $d$ y una palabra de $w$ son condicionalmente independientes dado un inadvertido tema $z$.

Si esto es cierto, su fórmula es una simple consecuencia del teorema de Bayes. Aquí están los pasos:

\begin{align*} P(w, d) &= \displaystyle \sum_z P(w, z, d)\\ & = \displaystyle \sum_z P(w, d | z) p(z)\\ &= \displaystyle \sum_z P(w | z) p(d|z) p(z), \end{align*} donde factorización en los productos es porque de independencia condicional.

Ahora uso el teorema de Bayes para obtener de nuevo \begin{align} \displaystyle \sum_z P(w | z) p(d|z) p(z) &= \displaystyle \sum_z P(w | z) p(z,d)\\ &= \displaystyle \sum_z P(w | z) p(z|d)p(d)\\ &= p(d)\displaystyle \sum_z P(w | z) p(z|d) \end{align}

Answer 2

La línea de $P(c|d)P(c) = P(d|c)P(c)$ (su eq 2) debe ser $P(c|d)P(d) = P(d|c)P(c)$.

No estoy seguro de por qué usted no cree que el teorema de Bayes y probabilidad de base las reglas son útiles:

Eq 1 es el teorema de Bayes (es decir, reconociendo que $P(d|c)P(c) = P(c,d)$ y de conectar a la definición de la probabilidad condicional)

Eq 2 se sigue inmediatamente de eq 1

Eq de 3 es eq 2 multiplicado por $P(w|c)$.

Desde eq 3 tiene para todos los $c$ las sumas son iguales. Entonces a partir de la $w$ es independiente de $d$ $c$ (un supuesto del modelo), se $P(w|c)P(c|d) = P(w|c, d)P(c|d) = P(w,c|d)$ $\sum_c\ P(w,c|d) = P(w|d)$ por la ley de total probabilidad, dándole $P(w|d)P(d)$.

Finalmente, $P(w|d)P(d)=P(w,d)$ a partir de la definición de probabilidad condicional.

Tan básicos de probabilidad es, en realidad, a la vez necesaria y suficiente para la derivación!