p-valores predictivos posteriores que subestiman

Question

Parece que no entiendo el proceso de cálculo de los p-valores predictivos posteriores.

Digamos que tengo un conjunto de datos de concentración de 400 proteínas diferentes medidos en 9 ratas. Entonces: $x_{pr}$ para $r=1...9, p=1...400$

La forma en que entiendo que deben calcularse los p-valores predictivos posteriores es:

1) usted ejecuta su cadena MCMC

para cada muestra $'i'$ en su cadena (y cada proteína $'p'$ ):

2) se calcula la varianza de los datos reales $s^{2 (true)}_{p}$

3) se calcula la varianza de los datos simulados $s^{2 (pred)}_{p}$

4) se calcula $M_{ip} = I(s^{2 (pred)}_{p} > s^{2 (true)}_{p}) \in \{0,1\}$

Usted utiliza su $M_{ip}$ valores para calcular $P(s^{2 (pred)}_{p} > s^{2 (true)}_{p}) \approx \frac{\sum_{i}M_{ip}}{N}$ ( $N$ siendo el número total de muestras)

¿Lo he entendido bien? ¿Así que en total tenemos 400 valores p diferentes que oscilan entre 0 y 1? Además, ¿cómo debería ser si mi modelo es supuestamente bueno?

Answer 1

Sí, su ejemplo parece ser correcto. Para cada proteína, se obtiene una estimación $p$ de lo probable que es (dado el modelo y los priores en cuestión) obtener una estadística al menos tan extrema como la que realmente se obtuvo. Muy bajo $p$ -son una prueba de que su modelo o sus valores previos no describen con exactitud el proceso de generación de datos, según la estadística de interés. Cuanto más alto sea el $p$ -Cuanto menos preocupante sea esto, aunque no es justo esperar que un buen modelo y previo tenga un valor particularmente alto $p$ -valores; es justo esperar que no lo hará ser extremadamente baja.

En teoría, se podría hacer que este procedimiento se pareciera más a la clásica prueba de significación de hipótesis nulas, tomando algún tipo de decisión basada en un umbral aplicado a $p$ pero el tipo más conocido por popularizar este enfoque, Andrew Gelman, no lo hace.