Implicaciones del debate actual sobre la significación estadística

Question

En los últimos años, varios estudiosos han planteado un problema perjudicial de las pruebas de hipótesis científicas, denominado "grado de libertad del investigador", que significa que los científicos tienen que hacer numerosas elecciones durante su análisis que se inclinan hacia conclusiones con un valor p < 5%. Estas decisiones ambiguas son, por ejemplo, qué caso se debe incluir, qué caso se considera atípico, ejecutar numerosas especificaciones del modelo hasta que aparezca algo, no publicar los resultados nulos, etc. (El artículo que suscitó este debate en psicología es aquí Véase un popular artículo de Slate y un debate de seguimiento de Andrew Gelman. aquí y la revista Time también aborda este tema aquí .)

En primer lugar Una pregunta aclaratoria:

Le site Tiempo escribió la revista,

"Una potencia de 0,8 significa que de diez hipótesis verdaderas probadas, sólo dos porque sus efectos no se detectan en los datos". datos".

No estoy seguro de cómo encaja esto en la definición de la función de potencia que encontré en el libro de texto, que es la probabilidad de rechazar el nulo en función del parámetro $\theta$ . Con diferentes $\theta$ tenemos un poder diferente, así que no entiendo muy bien la cita anterior.

Segundo algunas implicaciones para la investigación:

1. En mi campo, la ciencia política y la economía, los expertos se limitan a utilizar todos los datos anuales disponibles. Por lo tanto, ¿no debería preocuparnos aquí la manipulación de las muestras?

2. ¿Puede solucionarse el problema de realizar múltiples pruebas pero presentar un solo modelo simplemente con el hecho de que otra persona de la disciplina vuelva a probar tu artículo y te repruebe inmediatamente por no tener resultados sólidos? En previsión de esta situación, los especialistas de mi campo suelen incluir un modelo de prueba. robustness check donde muestran que la especificación de múltiples modelos no cambia el resultado. ¿Es esto suficiente?

3. Andrew Gelman y otros plantean que, independientemente de los datos, siempre sería posible encontrar y publicar algún "patrón" que en realidad no existe. Pero esto no debería ser motivo de preocupación, dado que cualquier "patrón" empírico debe estar respaldado por una teoría, y las teorías rivales dentro de una disciplina se limitarán a entablar un debate / carrera para ver qué bando es capaz de encontrar más "patrones" en diversos lugares. Si un patrón es realmente espurio, la teoría que lo sustenta será rápidamente desmontada cuando no exista un patrón similar en otras muestras / entornos. ¿No es así como progresa la ciencia?

4. Suponiendo que la tendencia actual de las revistas de resultados nulos prospere, ¿existe alguna forma de agregar todos los resultados nulos y positivos y hacer una inferencia sobre la teoría que todos ellos intentan probar?