La paradoja de Bartlett en las pruebas bayesianas

Question

Me he encontrado con la "paradoja" de Bartlett (no confundir con Paradoja de Lindley también conocida como la paradoja de Lindley-Bartlett) en la estadística bayesiana. La paradoja tiene su origen en el artículo de Bartlett de 1957, Comentario sobre la paradoja estadística de D. V. Lindley .

La paradoja de Bartlett es bastante trivial. Supongamos que con un factor de Bayes se comparan dos modelos, $a$ y $b$ con parámetros ajustables. Modelo $b$ tiene un parámetro ajustable $p$ que a priori podría adoptar una amplia gama de valores $N$ para el que una distribución uniforme es una prior adecuada (supongamos que es un parámetro de localización).

El factor de Bayes es $$ \frac{p(D\mid M_a)}{p(D\mid M_b)} \propto N $$ Si a priori sabemos muy poco sobre el parámetro $p$ puede ser que queramos considerar un previo impropio $N\to\infty$ o al menos muy grande $N$ . En este caso, debemos favorecer el modelo $a$ casi independientemente de los datos (aunque aquí hay que tener cuidado con el límite: si cada $p(D\mid M)$ está normalizado, $p(D\mid M_b) \ge p(D\mid M_a)$ para algunos $D$ ).

¿Qué debemos hacer? ¿Es una paradoja? ¿Cómo debemos afrontar esta situación en la que no tenemos suficiente información previa para restringir un parámetro del modelo pero queremos hacer una comparación de modelos? Puede que no haya ningún error y que debamos favorecer el modelo $a$ en esta situación?

Answer 1

Es una paradoja, en el sentido de que el enfoque frecuentista y el enfoque bayesiano darán resultados diferentes. Esto depende de la clase a priori que se elija y de la distribución de los datos, pero normalmente ocurrirá ya que tenemos el Teorema del Límite Central, que garantiza que la distribución de la estadística de interés es Normal cuando el tamaño de la muestra de datos es relativamente grande, en comparación con el tamaño efectivo de la muestra a priori.

Supongamos $P(D|M_a)$ da efectivamente la probabilidad o la distribución de probabilidad cuando la hipótesis nula es verdadera. Cuando el tamaño de la muestra $n$ es muy grande, se puede imaginar que el error típico es muy pequeño (proporcional a $1/\sqrt{n}$ ). En este caso, es muy probable que el enfoque frecuentista rechace $M_a$ . Sin embargo, en el enfoque bayesiano, favorecemos $M_a$ debido a que el factor Bayes se hace grande.

Una forma de solucionarlo es imponer también a la precisión (o al parámetro que da el tamaño efectivo de la muestra) alguna distribución a priori, de forma que la distribución conjunta a priori tenga colas más pesadas, digamos, la Normal a priori para $\mu \sim \mathcal{N}(\nu, 1/n_0)$ se convertirá en Cauchy, tras imponer $n_0\sim \text{Gamma}$ .