Después de haber visto videos en youtube, siento que realmente no puedo definir qué es la inferencia variacional. Puedo seguir los procedimientos mientras veo las clases sobre el tema. Pero es difícil definir qué es en realidad. Espero escuchar más al respecto.
No basado en mi conocimiento, pero aquí hay un artículo (en un lenguaje bastante sencillo) que creo que es muy relevante para la pregunta: Blei, Kucukelbir & McAuliffe 2016. Inferencia Variacional: Una Revisión para Estadísticos. https://arxiv.org/abs/1601.00670
Desde el resumen:
Uno de los problemas centrales de la estadística moderna es aproximar densidades de probabilidad difíciles de calcular. Este problema es especialmente importante en la estadística Bayesiana, que enmarca toda inferencia sobre cantidades desconocidas como un cálculo que implica la densidad posterior. En este artículo, revisamos la inferencia variacional (VI), un método de aprendizaje automático que aproxima densidades de probabilidad a través de la optimización. VI ha sido utilizado en muchas aplicaciones y tiende a ser más rápido que los métodos clásicos, como el muestreo de cadenas de Markov Monte Carlo. La idea detrás de VI es primero postular una familia de densidades y luego encontrar el miembro de esa familia que está cerca del objetivo. La cercanía se mide mediante la divergencia de Kullback-Leibler. Revisamos las ideas detrás de la inferencia variacional de campo medio, discutimos el caso especial de VI aplicado a modelos de familia exponenciales, presentamos un ejemplo completo con una mezcla Bayesiana de Gaussianas y derivamos una variante que utiliza la optimización estocástica para escalar a datos masivos. Discutimos la investigación moderna en VI y destacamos problemas abiertos importantes. VI es poderoso, pero aún no está bien entendido. Nuestra esperanza al escribir este artículo es catalizar la investigación estadística en esta clase de algoritmos.
También ofrecen orientación sobre cuándo los estadísticos deben usar el muestreo de cadenas de Markov Monte Carlo y cuándo la inferencia variacional (ver párrafo Comparando inferencia variacional y MCMC en el artículo).
He estado leyendo ese artículo y aún no le encuentro sentido. ¿Existe algún ejemplo con lanzamiento de moneda o algo que se pueda seguir fácilmente?
Veo que este artículo tiene 41 páginas; lo leeré pero esperaba que alguien pudiera tener un ejemplo sencillo, como estimar un posterior Beta dado datos de éxito binomiales usando VI. Algunas fuentes que he visto han pasado directamente a la factorización de matrices a través de VI, pero realmente preferiría comenzar con algo más simple y intuitivo.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
0 votos
Por favor, consulta mi respuesta a una pregunta similar sobre la inferencia variacional. Para aprender más sobre la inferencia variacional, echa un vistazo al libro que he escrito sobre el tema.