Estoy realizando la Asignación de Dirichlet Latente para 240 documentos de prueba (modelo entrenado con 3361 documentos). Estoy utilizando 150 iteraciones y 120 quemados en iteraciones. ¿Existe una forma específica de determinar las iteraciones para el proceso LDA? Estoy calculando para los temas 1000, 1500,... 4500 (cada 500 temas).
Respuesta
¿Demasiados anuncios?
javapowered
Puntos
209
Una forma común de determinar el número de iteraciones es calcular la perplejidad, como se define en la obra de D. Blei documento original de LDA . La perplejidad describe lo bien que el modelo se ajusta a los datos calculando las probabilidades de las palabras promediadas en los documentos de prueba. Cuando la diferencia de perplejidad es menor que un umbral, podemos declarar la convergencia y dejar de iterar.
Para conocer métodos más avanzados de evaluación del rendimiento del LDA y algunos códigos, puede consultar el documento de Wallach y otros .
Hay muchos métodos para estimar temas en LDA: variacional, muestreo de Gibbs, EM. Ya que mencionaste el burn-in, probablemente estás usando el muestreo de Gibbs colapsado para inferir las distribuciones de los temas. En ese caso, puede utilizar diagnósticos de convergencia MCMC empíricos como la reducción de escala potencial estimada.
