En cierto sentido, los métodos bayesianos no necesitan validarse más que evaluando la falta de ajuste (al igual que los métodos frecuentistas deben considerar la falta de ajuste del modelo). El ajuste del modelo suele evaluarse mejor utilizando distribuciones predictivas posteriores para generar nuevos valores de la variable dependiente y comparando la nueva distribución con lo observado para Y. Pero las simulaciones de Monte-Carlo son muy útiles para demostrar cómo funciona Bayes y para aprender sobre las diferencias entre frecuentistas y bayesianos.
Las simulaciones bayesianas son diferentes y perspicaces. Considere una simulación frecuentista estándar: suponga que el efecto desconocido es cero y vea con qué frecuencia aporta pruebas (digamos p < 0,05) de un efecto. A continuación, simule a partir de un efecto de, digamos, el 20% y vea con qué frecuencia el procedimiento frecuentista detecta un efecto (potencia). Contraste con Bayes, que pretende descubrir el verdadero efecto sea cual sea. Simular a partir de una distribución suave de efectos desconocidos. Realice el análisis bayesiano sin tener en cuenta el verdadero efecto. Estime una curva de calibración como hacemos en la modelización predictiva: relacione la probabilidad posterior de un efecto positivo con la probabilidad de que el efecto verdadero sea positivo. Del mismo modo puedes hacer una curva de calibración de una media posterior frente a la media verdadera. Verá que si la distribución de la simulación es igual a la del análisis previo, la calibración será perfecta incluso cuando detenga un estudio antes de tiempo al observar una media elevada.
Todo esto se muestra en detalle, con código R, en https://www.fharrell.com/post/bayes-seq
