¿Cómo responder a los revisores que piden valores p en un modelo bayesiano multinivel?

Question

Un revisor nos pidió que proporcionáramos los valores p para entender mejor las estimaciones del modelo en nuestro modelo multinivel bayesiano. El modelo es un modelo típico de múltiples observaciones por participante en un experimento. Estimamos el modelo con Stan, por lo que podemos calcular fácilmente estadísticas posteriores adicionales. Actualmente, informamos (visualmente y en tablas) de la estimación media y de los cuantiles 0,025 y 0,975.

Mi respuesta hasta ahora sería:

1. Los valores P son inconsistentes con los modelos bayesianos, es decir $P(X|\theta) \neq P(\theta|X).$
2. Sobre la base de la posterior, podemos calcular la probabilidad de que los parámetros sean mayores (menores) que 0. Esto se parece un poco a un valor p tradicional.

Mi pregunta es si esta es una respuesta que puede satisfacer a un revisor o sólo causará más confusión.

---

Actualización 10-Oct: Reescribimos el trabajo teniendo en cuenta los consejos de la respuesta. El artículo ha sido aceptado, así que reitero mi comentario anterior de que este consejo fue realmente útil.

Answer 1

En primer lugar, una rápida aclaración: Aunque la probabilidad no es, en efecto, la posterior, los valores p no son tan inconsistentes con la inferencia bayesiana, sino que suelen ser algo diferente, por todas las razones por las que los intervalos de confianza pueden o no alinearse con los intervalos creíbles. (Aunque no es necesariamente una totalmente cosa diferente, como muestra la comprobación predictiva posterior, que realmente implica valores p).

Sin embargo, supongo que este nivel de sofisticación no es lo que el crítico tiene en mente. Supongo que simplemente "saben" que los modelos estadísticos deben tener valores p, por lo que los han pedido. Así que la pregunta sigue siendo: ¿cómo responder?

Cuando el "revisor quiere una X" me ha resultado útil hacerme dos preguntas relacionadas:

1. Motivación: ¿Qué quieren que haga X por ellos?

2. Reconstrucción racional: ¿Qué sería lo más parecido y sensato que podrían haber pedido en lugar de X si quisieran hacerlo?

Entonces dales eso en su lugar.

La ventaja de un revisor ignorante (que, sin embargo, puede ser inteligente y tener razón sobre el papel) es que rara vez tienen una idea clara de lo que quieren decir cuando preguntan por X. Esto significa que si les reconstruyes haciendo una pregunta mejor, se contentarán con verte responder en su lugar.

En su caso, es muy posible que el revisor quiera un análisis frecuentista paralelo, aunque lo dudo. Lo que creo que quieres es trabajar con la insinuación del revisor de que quiere valores p para "entender mejor el modelo". Tu trabajo, creo, es analizar esto de forma que el revisor parezca sensato. Es de suponer que había unas cuantas frases siguientes en las que se señalaba lo que no estaba claro en el artículo. Tal vez había algunos efectos de interés para el revisor que no podían reconstruirse a partir de los márgenes de tus parámetros, o algunas cantidades que iluminarían lo que el modelo diría sobre los casos de interés para ellos, o la falta de resúmenes de un solo número...

Si puede identificar estas inquietudes, entonces puede envolver su respuesta en las siguientes formas (solicitud original entre corchetes):

"el revisor [exige un valor p para un término de interacción] estaba preocupado porque no estaba claro en nuestra presentación cómo variaba A con B, así que en la Figura 2 mostramos..." o "el revisor se pregunta [si podemos rechazar la hipótesis de que el efecto de A es cero] sobre la dirección del efecto de A. La tabla 3 muestra que este modelo da una probabilidad del 99% de que sea negativo" o "el revisor se pregunta [si nuestro modelo se ajusta significativamente mejor que un modelo que sólo contenga A] cómo se compara nuestro modelo con uno que sólo contenga A. Abordamos esta cuestión comparándolo con ... utilizando el DIC / calculando un factor de Bayes / mostrando que nuestras inferencias sobre A son robustas a la inclusión de B", etc.

En cada caso hay una traducción fiel de la petición original y una respuesta.

Advertencia: esta estrategia parece funcionar mejor cuando el revisor es un experto en la materia con un conocimiento relativamente escaso de la estadística. No no trabajar con el autodenominado revisor estadísticamente sofisticado que realmente quiere una X porque le gustan las X o ha leído sobre ellas en algún sitio recientemente. No tengo ninguna sugerencia para estos últimos.

Por último, recomendaría encarecidamente no decir nada, ni siquiera ligeramente religioso, sobre que Bayes es un paradigma diferente y que las preguntas de los revisores no tienen sentido dentro de él. Incluso si esto es cierto, hace que todo el mundo se ponga de mal humor sin ningún beneficio real.