¿Tiene razón Edwin Jaynes sobre las estadísticas?

Question

Recientemente he estado leyendo el libro de Edwin Jaynes, Teoría de la probabilidad: La lógica de la ciencia y me llamó la atención la opinión hostil de Jaynes sobre lo que él denomina "estadística ortodoxa". Afirma repetidamente que gran parte de la estadística es un gigantesco lío, y sostiene que muchas técnicas estadísticas habituales son ad hoc dispositivos que carecen de una base teórica sólida. Culpa a gigantes históricos como Karl Pearson y Ronald Fisher del lamentable estado de este campo, y defiende los métodos bayesianos como una alternativa más saludable.

Desde mi punto de vista personal, sus argumentos tienen mucho sentido. Sin embargo, hay una serie de factores que me impiden tomar al pie de la letra sus críticas a las estadísticas. A pesar de que el libro se publicó en 2003, la mayor parte de su contenido se escribió a mediados del siglo XX, lo que lo hace un poco anticuado. El campo de la estadística es razonablemente joven, y estoy dispuesto a apostar que ha cambiado significativamente desde que él lanzó sus críticas.

Además, soy escéptico sobre cómo pinta la estadística como si tuviera estas gigantescas grietas metodológicas entre "frecuentistas" y "bayesianos". Por mi experiencia en otros campos, los desacuerdos metodológicos serios entre profesionales son casi inexistentes, y cuando existen suelen ser exagerados. También soy siempre escéptico con respecto a cualquiera que afirme que todo un campo es corrupto: los científicos y los matemáticos son gente bastante inteligente, y es difícil creer que estuvieran tan despistados durante la vida de Jaynes como él afirma.

Preguntas:

1. ¿Puede alguien decirme si las críticas de Jaynes a la estadística eran válidas a mediados del siglo XX y, además, si son aplicables a la estadística en la actualidad? Por ejemplo, ¿los estadísticos serios siguen negándose a asignar probabilidades a las diferentes hipótesis, simplemente porque esas probabilidades no se corresponden con ninguna "frecuencia" real?

2. ¿Son los "frecuentistas" y los "bayesianos" facciones reales con fuertes desacuerdos sobre la estadística, o se exagera el conflicto?

Answer 1

No puedo hablar por todos los estadísticos, pero ésta es mi opinión sobre estas dos cuestiones:

En primer lugar, creo que (1) y (2) son en gran medida la misma pregunta, cada una de ellas se refiere a la relevancia del debate Bayesiano-Frecuentista.

En general, diría que el debate ha cambiado significativamente, sobre todo gracias a las aportaciones de Deborah Mayo y Andrew Gelman (entre muchos otros... pero yo soy el que más lee a estos dos), alejándose de la filosofía sobre la naturaleza de la probabilidad aplicada a la estadística y acercándose a la idea de cómo juzgamos/comprobamos nuestros modelos estadísticos. Por ejemplo, que un bayesiano afirme que un 95% de probabilidad (posterior) de que su modelo sea correcto no dice mucho, ya que no podemos situar ese 95% en un contexto objetivo. ¿Por qué debería ser tranquilizador el 95%? ¿Qué significa el 95% en términos de resultados observables?

Si dice: "Bueno, acepto mi modelo como válido cuando la probabilidad posterior es superior al 95%", ¿implica eso que el 5% de sus modelos aceptados son erróneos (o algo parecido)? Si es así, está utilizando implícitamente una calibración frecuentista de su modelo. Si niega la validez de la afirmación anterior, entonces ¿qué puede ofrecer para apoyar la confianza en su 95%? ¿Por qué no podemos decir que es del 60%? ¿Cómo puede demostrar que estoy equivocado de forma no circular?

Sin embargo, divago un poco. Mi punto principal no es criticar la probabilidad subjetiva, sino decir que se ha convertido en algo irrelevante para la práctica estadística moderna. He aquí la razón:

Independientemente de su filosofía, debe validar sus modelos.

Nadie, por muy buena que sea su reputación o por muy coherente que sea su lógica, debería tener un pase libre. Tienes que demostrar que tu modelo es una aproximación razonablemente buena a la realidad. Para ello, tendrás que comparar tus resultados con los datos, y si tus resultados son probabilidades, no podrás evitar calcular distribuciones de frecuencia/histogramas/estimaciones de densidad.

En lo que a mí respecta, la parte filosófica del debate Bayesiano/Frecuentista ha terminado en gran medida, ganando el frecuentismo como método preferido de calibración o la comprobación de los modelos. Sencillamente, no hay muchas alternativas para demostrar "¡eh, mi modelo es bastante bueno!" sin apelar a algún sentido de las estimaciones de frecuencia. La coherencia lógica por sí sola no es un camino válido hacia la verdad empírica.

Sin embargo, también diría que el bayesiano modelos están en fuerte ascenso. Modelar los parámetros como "efectos aleatorios" a partir de algún metamodelo significa básicamente que se está entreteniendo con un espacio más rico de modelos, con la ventaja añadida de que las estimaciones pueden tener menos varianza y un menor error general (si las previsiones no están completamente equivocadas).

Así que, sí, yo diría que Jayenes era un producto de (a) su ego y (b) su época. Tanto los enfoques bayesianos como los no bayesianos (no voy a decir frecuencialistas) han avanzado notablemente, con bastante convergencia a nivel filosófico, pero proliferación a nivel de modelo/metodología. Por ejemplo, tenemos el bootstrap, la probabilidad empírica, el MCMC, el EM, el AIC/BIC, los priores difusos/los priores informativos/los priores no informativos, etc... tantas formas de despellejar el mismo gato (¡pero al menos todos parecemos estar de acuerdo en lo que significa haberlo despellejado!).

Para (2), en realidad creo que he respondido parcialmente a esto en mi respuesta a (1). Si lee a los bayesianos modernos como Gelman, verá un fuerte impulso hacia la comprobación y verificación del modelo mediante la comparación de las frecuencias observadas frente a las modeladas o medidas similares (por ejemplo, propone una versión del valor P en su libro para la comprobación del modelo predictivo). La enorme disminución del coste informático significa que también se pueden comprobar muchas más medidas de "inadaptación" que cuando Fisher y Pearson idearon sus valores P y pruebas de significación. Gelman y otros parecen apoyar la idea de las comprobaciones holísticas, no la adhesión ciega a una sola estadística. Estoy de acuerdo con esto, y me alegra ver cómo la verificación objetiva ha vuelto a la modelización bayesiana.

En fin, mis dos centavos.