¿Cuándo son preferibles los métodos bayesianos a los frecuentistas?

Question

Tengo muchas ganas de aprender técnicas bayesianas, así que he estado intentando enseñarme un poco. Sin embargo, me cuesta ver cuándo el uso de técnicas bayesianas supone una ventaja sobre los métodos frecuentistas. Por ejemplo: He visto en la literatura un poco sobre cómo algunos utilizan priores informativos mientras que otros utilizan priores no informativos. Pero si usas una priorización no informativa (lo que parece muy común?) y descubres que la distribución posterior es, digamos, una distribución beta... ¿no podrías haber ajustado una distribución beta al principio y darlo por bueno? No veo cómo construir una distribución a priori que no te dice nada... puede, bueno, ¿realmente decirte algo?

Resulta que algunos métodos que he estado usando en R utilizan una mezcla de métodos bayesianos y frecuentistas (los autores reconocen que esto es algo inconsistente) y ni siquiera puedo discernir qué partes son bayesianas. Aparte del ajuste de la distribución, ni siquiera puedo entender CÓMO se utilizan los métodos bayesianos. ¿Existe la "regresión bayesiana"? ¿Qué aspecto tendría? Todo lo que puedo imaginar es adivinar la distribución subyacente una y otra vez, mientras que el frecuentista piensa un poco en los datos, los observa, ve una distribución de Poisson y ejecuta un MLG. (Esto no es una crítica... ¡es que no lo entiendo!)

Así que ¿quizás algunos ejemplos elementales ayudarían? Y si conoces alguna referencia práctica para principiantes como yo, ¡también sería de gran ayuda!

Answer 1

Aquí tiene algunos enlaces que pueden interesarle en los que se comparan los métodos frecuentista y bayesiano:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Archivado aquí: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

En pocas palabras, tal y como yo lo he entendido, dado un conjunto específico de datos, el frecuentista cree que existe una distribución verdadera subyacente a partir de la cual se generaron dichos datos. La imposibilidad de obtener los parámetros exactos es una función del tamaño finito de la muestra. Los bayesianos, en cambio, creen que partimos de alguna suposición sobre los parámetros (aunque sea sin saberlo) y utilizamos los datos para afinar nuestra opinión sobre esos parámetros. Ambos intentan desarrollar un modelo que pueda explicar las observaciones y hacer predicciones; la diferencia está en los supuestos (tanto reales como filosóficos). Como afirmación concisa y no rigurosa, se puede decir que el frecuentista cree que los parámetros son fijos y los datos aleatorios; el bayesiano cree que los datos son fijos y los parámetros aleatorios. ¿Cuál es mejor o preferible? Para responder a esta pregunta hay que profundizar y darse cuenta de que qué supuestos que conlleva cada uno (por ejemplo, ¿son los parámetros asintóticamente normales?).

Answer 2

Uno de los muchos aspectos interesantes de los contrastes entre los dos enfoques es que es muy difícil tener una interpretación formal para muchas cantidades que obtenemos en el ámbito frecuentista. Un ejemplo es la importancia cada vez mayor de los métodos de penalización (contracción). Cuando se obtienen estimaciones de máxima verosimilitud penalizadas, las estimaciones puntuales sesgadas y los "intervalos de confianza" son muy difíciles de interpretar. En cambio, la distribución posterior bayesiana de los parámetros penalizados hacia cero mediante una distribución a priori concentrada en torno a cero tiene interpretaciones completamente estándar.

Answer 3

Estoy robando esto al por mayor del grupo de usuarios de Stan. Michael Betancourt proporcionó esto muy buen debate de la identificabilidad en la inferencia bayesiana, que creo que tiene que ver con su petición de un contraste de las dos escuelas estadísticas.

La primera diferencia con un análisis bayesiano será la presencia de priores que, incluso cuando sean débiles, restringirán la masa posterior para esos 4 parámetros en un vecindario finito (de lo contrario no habría tenido un prior válido en primer lugar). A pesar de esto, todavía se puede tener no identificabilidad en el sentido de que la posterior no convergerá a una masa puntual en el límite de datos infinitos. En un sentido muy real, sin embargo, eso no importa porque (a) el límite de datos infinitos no es real de todos modos y (b) la inferencia bayesiana no informa de estimaciones puntuales sino de distribuciones. En la práctica, esta no identificabilidad dará lugar a grandes correlaciones entre los parámetros (quizás incluso no convexidad), pero un análisis bayesiano adecuado identificará esas correlaciones. Incluso si informa de los marginales de un solo parámetro, obtendrá distribuciones que abarcan la varianza marginal en lugar de la varianza condicional en cualquier punto (que es lo que citaría un resultado frecuentista estándar, y por qué la identificabilidad es realmente importante en este caso), y es realmente la varianza marginal la que mejor codifica la incertidumbre con respecto a un parámetro.

Ejemplo sencillo: consideremos un modelo con parámetros $\mu_1$ y $\mu_2$ con probabilidad $\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$ . Por muchos datos que se recojan, la probabilidad no convergerá en un punto, sino en una línea. $\mu_1 + \mu_2 = 0$ . La varianza condicional de $\mu_1$ y $\mu_2$ en cualquier punto de esa línea será realmente pequeño, a pesar de que los parámetros no puedan identificarse realmente.

Los priores bayesianos limitan la distribución posterior de esa línea a una distribución larga en forma de cigarro. No es fácil tomar muestras de ella, pero al menos es compacta. Un buen análisis bayesiano explorará la totalidad de ese puro, ya sea identificando la correlación entre $\mu_1$ y $\mu_2$ o devolviendo las varianzas marginales que corresponden a la proyección del puro largo sobre el $\mu_1$ o $\mu_2$ que ofrecen un resumen mucho más fiel de la incertidumbre de los parámetros que las varianzas condicionales.

Answer 4

La diferencia clave entre los enfoques bayesiano y frecuentista radica en la definición de probabilidad, de modo que si es necesario tratar las probabilidades estrictamente como una frecuencia a largo plazo, entonces los enfoques frecuentistas son razonables, si no lo es, entonces debería utilizar un enfoque bayesiano. Si cualquiera de las dos interpretaciones es aceptable, es probable que los enfoques bayesiano y frecuentista sean razonables.

Otra forma de decirlo es que, si lo que se quiere es saber qué inferencias se pueden extraer de un experimento concreto, lo más probable es que se prefieran los métodos bayesianos; si lo que se quiere es extraer conclusiones sobre una población de experimentos (por ejemplo, el control de calidad), los métodos frecuentistas son los más adecuados.

Básicamente, lo importante es saber a qué pregunta se quiere responder, y elegir la forma de análisis que responda a la pregunta de forma más directa.

Answer 5

Imagina que calculas una probabilidad de que el AC Milan gane al Real Madrid y han jugado 3 partidos con su alineación actual. Los 3 partidos los ha ganado el Real Madrid. Entonces un frecuentista dice que el Milan nunca puede ganar al Real Madrid, lo cual no tiene sentido. Un bayesiano podría tomar una probabilidad a priori de las temporadas anteriores, lo que daría como resultado una probabilidad a posteriori positiva para el Milan.