¿Se consideran las suposiciones del modelo de pruebas como p-hacking/pesca?

Question

"P-hacking", "pesca" y "jardín de caminos bifurcados" como se explica aquí y aquí describe un estilo exploratorio de análisis de datos como una investigación que produce estimaciones sesgadas.

¿Se considera un problema de "p-hacking" o de "jardín de caminos bifurcados" el hecho de probar los supuestos del modelo (por ejemplo, la normalidad, la homosexualidad en la regresión) utilizando pruebas estadísticas sobre el mismo conjunto de datos que se utiliza para ajustar el modelo?

Los resultados de esas pruebas ciertamente afectan al modelo que el investigador finalmente elige para encajar.

Answer 1

No creo que comprobar las suposiciones de ningún modelo califique como p-hacking/pesca. En el primer artículo, el autor habla de analistas que realizan repetidamente análisis sobre un conjunto de datos y sólo informan del mejor resultado. En otras palabras, están retratando a propósito una imagen sesgada de lo que está sucediendo en los datos.

Es obligatorio probar los supuestos de regresión o cualquier modelo. Lo que no es obligatorio es volver a tomar muestras repetidamente de los datos para determinar el mejor resultado posible. Asumiendo que los investigadores tienen una muestra lo suficientemente grande de la que extraer, a veces remuestrean una y otra vez... realizan pruebas de hipótesis una y otra vez.... hasta que logran el resultado que desean. Por lo tanto, p-hacking. Están hackeando el valor p a través de la búsqueda del resultado deseado y no se detendrán hasta que lo encuentren (fishing). Así que incluso si de 100 pruebas de hipótesis sólo consiguen 1 con un resultado significativo, informarán del valor p perteneciente a esa prueba en particular y omitirán todas las demás.

¿Tiene esto sentido? Al comprobar los supuestos del modelo, te aseguras de que el modelo es apropiado para los datos que tienes. Con p-hacking/pesca, usted está buscando sin cesar los datos/manipulando el estudio con el fin de lograr el resultado deseado.

En cuanto al propósito de la comparación múltiple, si sigues corriendo un modelo a través del barro sin parar tratando de encontrar una manera de invalidarlo (o validarlo) entonces eventualmente encontrarás una manera. Esto es la pesca. Si quieres validar un modelo, entonces encontrarás una manera. Si quieres invalidarlo, entonces encontrarás una manera. La clave es tener una mente abierta y descubrir la verdad, no sólo ver lo que quieres ver.

Answer 2

No es exactamente lo mismo en el sentido de que la práctica de comprobar si se violaron las suposiciones tenía originalmente por objeto asegurarse de que se hiciera un análisis adecuado, pero resulta que tiene algunas de las mismas consecuencias (véase por ejemplo esta pregunta ). Pero es en una forma más suave que las variantes más extremas de p-hacking que están específicamente dirigidas a obtener de alguna manera el valor p para el efecto del interés por debajo de 0,05. Esto es así a menos que se empiece a combinar múltiples prácticas problemáticas (por ejemplo, comprobar la normalidad, comprobar la homosexualidad, comprobar las covariables que "deberían" estar en el modelo, comprobar la linealidad de las covariables, comprobar las interacciones, etc.). No estoy seguro de que alguien haya investigado cuánto eso invalida el análisis final.

Por supuesto, la otra cuestión es que las pruebas de normalidad no suelen ser significativas (véase por ejemplo esta discusión ). En el caso de muestras de pequeño tamaño no se detectan con fiabilidad desviaciones masivas que realmente violen sus supuestos, mientras que en el caso de muestras de gran tamaño, por ejemplo, la prueba t se vuelve bastante robusta a las desviaciones, pero la prueba de normalidad empezará a detectar pequeñas desviaciones que no importan. Es mucho mejor (siempre que sea posible) especificar un modelo apropiado basado en datos anteriores o en el conocimiento de la materia. Cuando esto no sea posible, puede ser mejor utilizar métodos que sean más robustos a las violaciones de los supuestos de distribución o que no tengan ninguno o menos.