¿Por qué es malo enseñar a los alumnos que los valores p son la probabilidad de que los resultados se deban al azar?

Question

¿Puede alguien ofrecer una explicación sucinta de por qué no es una buena idea enseñar a los estudiantes que un valor p es la probabilidad de que sus resultados se deban al azar? Entiendo que un valor p es la probabilidad (obtener datos más extremos | la hipótesis nula es verdadera).

Mi verdadero interés es cuál es el daño de decirles que es lo primero (aparte de que simplemente no es así).

Answer 1

Mi interpretación del significado de la afirmación errónea es diferente a la de @Karl. Creo que es una afirmación sobre los datos, más que sobre el nulo. Lo entiendo como una pregunta sobre la probabilidad de obtener su estimación debido al azar. No sé lo que significa no es una afirmación bien especificada.

Pero sí entiendo lo que probablemente significa la probabilidad de obtener mi estimación por azar dado que la estimación verdadera es igual a un valor determinado. Por ejemplo, puedo entender lo que significa obtener una diferencia muy grande en las estaturas medias de hombres y mujeres dado que sus estaturas medias son realmente las mismas. Eso está bien especificado. Y eso es lo que da el valor p. Lo que falta en la afirmación errónea es la condición de que el nulo sea verdadero.

Ahora bien, podríamos objetar que esta afirmación no es perfecta (la probabilidad de obtener un valor exacto para un estimador es 0, por ejemplo). Pero es mucho mejor que la forma en que la mayoría interpretaría un valor p.

El punto clave que digo una y otra vez cuando enseño a hacer pruebas de hipótesis es "El primer paso es asumir que la hipótesis nula es verdadera. Todo se calcula dada esta suposición". Si la gente lo recuerda, está muy bien.

Answer 2

He visto esta interpretación muchas veces (quizás más que la correcta). Yo interpreto que "sus resultados se deben al azar" como " $\text{H}_0$ es cierto", por lo que realmente lo que están diciendo es $\Pr(\text{H}_0)$ [que en realidad debería ser $\Pr(\text{H}_0 | \text{data})$ ; decir, "dado lo que hemos visto (los datos), ¿cuál es la probabilidad de que sólo opere el azar?"]. Esto puede ser una afirmación significativa (si estás dispuesto a asignar priores y hacer Bayes), pero no es el valor p .

$\Pr(\text{H}_0 | \text{data})$ puede ser muy diferente del valor p, por lo que interpretar un valor p de esa manera puede ser muy engañoso.

La ilustración más sencilla: decir lo anterior, $\Pr(H_0)$ es bastante pequeño, pero se tienen pocos datos, por lo que el valor p es grande (digamos, 0,3), pero el posterior $\Pr(\text{H}_0|\text{data})$ sería bastante pequeño. [Pero tal vez este ejemplo no es tan interesante].

Answer 3

Añadiré una respuesta tardía desde la perspectiva del (ex) estudiante: En mi opinión, el daño no se puede separar de que esté mal.

Este tipo de "aproximaciones didácticas/acortamientos" erróneos pueden crear mucha confusión en los alumnos que se dan cuenta de que no pueden entender lógicamente el enunciado, pero al asumir que lo que se les enseña es correcto no se dan cuenta de que no son capaces de entenderlo porque no está bien.

Esto no afecta a los alumnos que se limitan a memorizar las reglas que se les presentan. Pero requiere que los estudiantes que aprenden por comprensión sean lo suficientemente buenos para

• llegar a la solución correcta por sí mismos y
• ser lo suficientemente bueno para que puedan estar seguros de que tienen razón
• y concluir que se les enseña una mierda (por alguna razón supuestamente didáctica).

No digo que no haya atajos didácticos válidos. Pero en mi opinión, cuando se toma un atajo de este tipo, debería mencionarse (por ejemplo, como "para facilitar el argumento, suponemos/aproximamos que...").
Sin embargo, en este caso concreto, creo que es demasiado engañoso para que sirva de algo.

Answer 4

Refiriéndose directamente a la pregunta: ¿Dónde está el daño?

En mi opinión, la respuesta a esta pregunta se encuentra en la inversa de la afirmación: "Un valor p es la probabilidad de que los resultados se deban al azar". Si uno cree esto, probablemente también crea lo siguiente: "[1-(valor p)] es la probabilidad de que los resultados NO se deban al azar".

El daño está en la segunda afirmación, porque, dada la forma en que funciona el cerebro de la mayoría de las personas, esta afirmación sobreestima enormemente la confianza que deberíamos tener en la valores específicos de un parámetro estimado.

Answer 5

Este es un ejemplo sencillo que utilizo:

Supongamos que nuestra hipótesis nula es que estamos lanzando una moneda de dos caras (por lo que prob(cara) = 1). Ahora lanzamos la moneda una vez y obtenemos cara, el valor p para esto es 1, entonces ¿significa que tenemos un 100% de probabilidad de tener una moneda de 2 cabezas?

Lo complicado es que si hubiéramos lanzado una cruz entonces el valor p hubiera sido 0 y la probabilidad de tener una moneda de 2 cabezas hubiera sido 0, por lo que coinciden en este caso, pero no en el anterior. El valor p de 1 anterior sólo significa que lo que hemos observado es perfectamente coherente con la hipótesis de una moneda de 2 caras, pero no demuestra que la moneda tenga 2 caras.

Además, si estamos haciendo estadística frecuentista, la hipótesis nula es Verdadera o Falsa (simplemente no sabemos cuál) y hacer declaraciones de probabilidad (frecuentista) sobre la hipótesis nula no tiene sentido. Si quieres hablar de la probabilidad de la hipótesis, entonces haz estadística bayesiana adecuada, utiliza la definición bayesiana de probabilidad, empieza con un previo y calcula la probabilidad posterior de que la hipótesis sea verdadera. Pero no confundas un valor p con un posterior bayesiano.