"Intención del investigador" y umbrales/valores

Question

Estoy leyendo el libro de John Kruschke "Diapositivas "Análisis bayesiano de datos pero en realidad tengo una pregunta acerca de su interpretación de las pruebas t y/o de todo el marco de las pruebas de significación de hipótesis nulas. Sostiene que los valores p están mal definidos porque dependen de las intenciones del investigador.

En concreto, da un ejemplo (páginas 3-6) de dos laboratorios que recogen conjuntos de datos idénticos comparando dos tratamientos. Un laboratorio se compromete a recopilar datos de 12 sujetos (6 por condición), mientras que el otro recopila datos durante una duración fija, que también resulta ser de 12 sujetos. Según las diapositivas, la crítica $t$ -valor para $p<0.05$ difiere entre estos dos sistemas de recogida de datos: $t_{\textrm{crit}}=2.33$ para los primeros, pero $t_{\textrm{crit}}=2.45$ ¡para este último!

En una entrada de blog -que ahora no puedo encontrar- se sugería que el escenario de duración fija tiene más grados de libertad, ya que podrían haber recogido datos de 11, 13 o cualquier otro número de sujetos, mientras que el escenario de N fija, por definición, tiene $N=12$ .

¿Podría alguien explicármelo?

• ¿Por qué el valor crítico diferiría entre estas condiciones?

• (Suponiendo que se trate de un problema) ¿Cómo se corregirían/compararían los efectos de los distintos criterios de detención?

Sé que establecer los criterios de parada en función de la significación (por ejemplo, muestra hasta $p<0.05$ ) puede inflar las posibilidades de un error de tipo I, pero no parece que eso esté ocurriendo aquí, ya que ninguna de las reglas de parada depende del resultado del análisis.

Answer 1

Finalmente localicé el papel asociado a las diapositivas: Kruschke (2010) , también disponible directamente del autor (a través de CiteSeerX) aquí ya que la revista no está muy extendida. La explicación es un poco prosaica, pero sigo sin creérmela.

En el caso N fijo, la crítica $t$ -se calcula del siguiente modo: $2N$ muestras se extraen aleatoriamente de la (misma) población y a $t$ -se calcula el valor. Este proceso se repite muchas veces para construir una distribución nula. Por último, $t_{crit}$ se fija en el percentil 95 de esa distribución.

Para el caso de duración fija, supone que los sujetos llegan a un ritmo medio $\lambda$ . La distribución nula se construye repitiendo dos pasos. En el primer paso, el número de sujetos para cada condición $N_1$ y $N_2$ se extrae de una distribución de posión con parámetro $\lambda$ . Siguiente, $N_1$ y $N_2$ se utilizan extracciones aleatorias de la población para calcular un $t$ -valor. Esto se repite muchas veces, y $t_{crit}$ se fija en el percentil 95 de esa distribución.

Esto me parece un poco... descarado. Según tengo entendido, no hay una sola $t$ -sino una familia de distribuciones cuya forma viene determinada en parte por el parámetro de grados de libertad. Para la $N$ condición, hay $N$ sujetos por grupo y el $t$ -para una prueba t no emparejada es el que tiene $2N-2$ grados de libertad, que es presumiblemente lo que reproduce su simulación.

En la otra condición, parece que el " $t$ " es, en realidad, una combinación de muestras de muchas $t$ -en función de los sorteos concretos. Al establecer $\lambda=N$ se podría obtener el media grados de libertad para igualar $2N-N$ pero no es suficiente. Por ejemplo, la media de los $t$ -distribuciones para $\nu=1$ y $\nu=5$ no parece ser el $t$ -con 3 grados de libertad.

En resumen:

• El autor generaba $t_{crit}$ por simulación, en lugar de calcularlos simplemente a partir de la FCD.
• La forma en que el autor ha simulado el escenario de duración fija parece que podría engordar las colas de las correspondientes $t$ -distribución.
• Sigo sin estar convencido de que esto sea realmente un problema, pero estaría encantado de leer/votar/aceptar respuestas si alguien piensa lo contrario.

Answer 2

Aquí tienes más información: http://doingbayesiandataanalysis.blogspot.com/2012/07/sampling-distributions-of-t-when.html

Aquí encontrará un análisis más completo: http://www.indiana.edu/~kruschke/BEST/ Ese artículo considera valores p para la parada en el umbral N, la parada en el umbral de duración y la parada en el umbral del valor t.