Comparación de modelos bayesianos en la escuela secundaria

Question

Enseño física a estudiantes de secundaria, y me gustaría que mis alumnos realizaran una comparación rudimentaria de modelos bayesianos para los datos de sus experimentos. He ideado una forma de hacerlo (ver más abajo), pero no estoy seguro de que sea correcta. Agradecería mucho cualquier comentario al respecto (¡especialmente los negativos!), o sugerencias sobre cómo hacerlo mejor.

Me gustaría comparar una teoría lineal, con parámetros de pendiente $a$ e interceptar $b$ a una hipótesis nula de una constante, es decir, la pendiente $a$ =0. En ambos casos asumo un ruido gaussiano simétrico.

Los estudiantes pueden derivar, usando Excel, las estimaciones de máxima verosimilitud para la pendiente y el intercepto ( $\hat{a}$ y $\hat{b}$ ), y sus errores $da$ y $db$ .

1. Para la prioridad de la pendiente, considero una gaussiana amplia, centrada en la estimación de máxima=verosimilitud ( $\hat{a}$ ) y con una norma desviación de diez veces eso. Mi razonamiento es que, de forma realista que esperen encontrar los parámetros de línea "correctos" al menos dentro de una magnitud, y en la práctica encontrarán otros más cercanos aún, así que si Si sustituyo la pendiente "correcta" por su MLE, no cambiarán demasiado los números demasiado.
2. Para la probabilidad de las pruebas dado cualquier lineal particular teoría, considero la distribución gaussiana multivariante estándar con una desviación estándar ( $\sigma_e$ ) relacionada con la suma de los residuos al cuadrado.
3. La probabilidad de las pruebas de la teoría lineal en general, es decir, la integral de la anterior a priori y la probabilidad, es por lo tanto se estima como la prioridad y la probabilidad en el punto MLE, multiplicada por el error en la pendiente $da$ .
4. La probabilidad de la evidencia dada la hipótesis nula se supone que es otra gaussiana multivariante, ahora usando la desviación estándar total desviación estándar ( $\sigma_T$ ), basado en la diferencia con la media-Y.

5. Esta es la parte de la que estoy menos seguro: Estimo el factor de Bayes como el cociente de las dos probabilidades anteriores (3 y 4), lo que me permite llegar a la siguiente fórmula:

   $B_{10}=\frac{da}{(10 |\hat{a}| \cdot \sqrt{2 \pi})}(\sigma_T/\sigma_e)^N\cdot \sqrt{e} $

¿Nos daría esto estimaciones razonables para el factor de Bayes? Cualquier comentario será bienvenido.

Answer 1

En primer lugar, permítanme decir que las pruebas sensatas de un agudo hipótesis como $a=0$ requiere una distribución previa bien pensada para $a$ porque el factor de Bayes depende críticamente de esta previa. Muchos bayesianos no probarán una hipótesis aguda, pero yo sí.

Antes de continuar, debo decirte que no entiendo muy bien lo que dices que estás haciendo y por eso puede que te esté dando un consejo que no estás buscando. Espero que puedas seguir la notación de mayo.

Que los datos sean $n$ observaciones: $y = ((x_1,y_1), \ldots, (x_n,y_n))$ donde (según el modelo más general e incluye la pendiente) $$ p(y_i|a,b,\sigma^2) = \textsf{N}(y_i|b+a\,x_i,\sigma^2). $$ (Estoy suprimiendo la variable independiente $x_i$ de la lista de argumentos condicionantes para simplificar la anotación). La probabilidad viene dada por $$ p(y|a,b,\sigma^2) = \prod_{i=1}^n p(y_i|a,b,\sigma^2). $$ Dada una prioridad para $(a,b,\sigma^2)$ la distribución posterior es \begin{equation} p(a,b,\sigma^2|y) = \frac{p(y|a,b,\sigma^2)\,p(a,b,\sigma^2)}{p(y)}, \end{equation} donde la probabilidad de los datos según el modelo más general es \begin{equation} \begin{split} p(y) &= \iiint p(y|a,b,\sigma^2)\,p(a,b,\sigma)\,d\sigma^2\,db\,da \\ &= \int\left(\iint p(y|a,b,\sigma^2)\,p(b,\sigma^2)\,d\sigma^2\,db\right) p(a|b,\sigma^2)\,da \\ &= \int p(y|a)\,p(a|b,\sigma^2)\,da , \end{split} \end{equation} donde he utilizado $p(a,b,\sigma^2) = p(a|b,\sigma^2)\,p(b,\sigma^2)$ . Tenga en cuenta que $p(y|a)$ es la probabilidad (marginal) para $a$ y $p(a|b,\sigma^2)$ es la prioridad condicional para $a$ . Si la prioridad para $a$ es independiente de $(b,\sigma^2)$ entonces $p(a|b,\sigma^2) = p(a)$ . Asumiré que es cierto.

Con estas expresiones, ahora podemos escribir la posterior marginal para $a$ : \begin{equation} p(a|y) = \frac{p(y|a)\,p(a)}{p(y)}. \end{equation} Ahora vamos a reordenar esta expresión: \begin{equation} \frac{p(y|a)}{p(y)} = \frac{p(a|y)}{p(a)}. \end{equation} Como esta expresión es cierta para cualquier valor de $a$ es cierto en particular para $a = 0$ : \begin{equation} \frac{p(y|a=0)}{p(y)} = \frac{p(a=0|y)}{p(a=0)}. \end{equation} Obsérvese que el numerador de la fracción del lado izquierdo es la probabilidad de los datos según el modelo restringido (es decir, restringido a $a=0$ ). Y, como ya se ha señalado, el denominador es la probabilidad de los datos según el modelo más general. Por lo tanto, el lado izquierdo es el factor de Bayes a favor del modelo restringido en relación con el modelo más general.

La fracción de la derecha nos da una forma de evaluar el factor de Bayes: Dice que hay que dividir la densidad posterior evaluada en $a=0$ por la densidad previa evaluada en $a=0$ . (Por cierto, la "fórmula" se llama relación de densidad de Savage-Dickey.) Ahora resulta evidente por qué una previa bien pensada para $a$ es necesario. Si dejamos que la densidad previa para $a$ ser muy incierto, la densidad previa será muy baja en todas partes, incluso en $a =0$ pero la densidad posterior en $a=0$ no llegará a cero y, en consecuencia, el factor de Bayes llegará a infinito. En este caso, "garbage in" produce "garbage out".

Puede que te imagines que si no sigues los pasos que te he indicado, entonces no estarás sujeto a este problema, pero estarías equivocado. La lógica que he presentado se aplica independientemente del "algoritmo" que se aplique.

Pero los pasos proporcionan un algoritmo que puede ser útil. Supongamos que la prioridad de los parámetros viene dada por la "prioridad de Jeffreys". $$ p(b,\sigma^2) \propto 1/\sigma^2. $$ Esto equivale a utilizar un previo inadecuado en los "parámetros de molestia" $(b,\sigma^2)$ . Esto está bien, pero un prior no sería apropiado para $a$ por la razón que comenté anteriormente. Con esta previa, $p(y|a)$ --- la probabilidad (marginal) para $a$ --- será proporcional a un Estudiante $t$ distribución, cuyos parámetros dependen de los datos $y$ . Este $t$ La distribución es un resumen completo de los datos, que pueden ser descartados. Ahora hay que elegir una previa adecuada y bien informada para $a$ . Una vez hecho esto, se puede calcular numéricamente cualquier lado de la ecuación "Savage-Dickey".

Espero que encuentre algo útil en lo que he dicho.