Una limitación básica de la hipótesis nula pruebas de significación es que no permite a un investigador para recolectar la evidencia en favor de la nulos (Fuente)
Veo este reclamo repetido en varios lugares, pero no puedo encontrar la justificación de la misma. Si realizamos un estudio grande y nosotros no encontramos evidencia estadísticamente significativa en contra de la hipótesis nula, no es que la evidencia para la hipótesis nula?
Respuestas
¿Demasiados anuncios?
No rechazar una hipótesis nula es la evidencia de que la hipótesis nula es verdadera, pero podría no ser particularmente buena evidencia, y ciertamente no probar la hipótesis nula.
Vamos a tomar un pequeño desvío. Consideremos por un momento el viejo cliché:
La ausencia de evidencia no es evidencia de ausencia.
A pesar de su popularidad, esta afirmación es un disparate. Si usted busca algo y no lo encuentra, que es absolutamente evidencia de que no existe. Qué bueno que la evidencia depende de manera exhaustiva su búsqueda fue. Una somera búsqueda proporciona evidencia débil; una búsqueda exhaustiva proporciona una fuerte evidencia.
Ahora, de vuelta a la prueba de hipótesis. Cuando se ejecuta una prueba de hipótesis, se busca evidencia de que la hipótesis nula no es cierto. Si no lo encuentra, entonces, que es sin duda la evidencia de que la hipótesis nula es verdadera, pero ¿cómo de fuerte es la evidencia? Saber que usted tiene que saber cómo es la probabilidad de que la evidencia de que hubiera hecho usted rechazar la hipótesis nula podría haber escapado a su búsqueda. Es decir, ¿cuál es la probabilidad de un falso negativo en la prueba? Esto está relacionado con el poder, $\beta$, de la prueba (en concreto, es el complemento, 1-$\beta$.)
Ahora, la potencia de la prueba, y por lo tanto la tasa de falsos negativos, generalmente depende del tamaño del efecto que se busca. Grandes efectos son más fáciles de detectar que los más pequeños. Por lo tanto, no hay una sola $\beta$ para un experimento, y por lo tanto no hay respuesta definitiva a la pregunta de cómo de fuerte es la evidencia de que la hipótesis nula es. Dicho de otra manera, siempre hay algún efecto de tamaño lo suficientemente pequeño que no está descartado para el experimento.
A partir de aquí, hay dos maneras de proceder. A veces, usted sabe que usted no se preocupan por un efecto de tamaño menor que un cierto umbral. En ese caso, usted probablemente debería replantear su experimento de tal modo que la hipótesis nula es que el efecto está por encima de ese umbral, y, a continuación, probar la hipótesis alternativa de que el efecto es inferior al umbral. Como alternativa, puede utilizar sus resultados para establecer límites en la creíbles tamaño del efecto. Su conclusión sería que el tamaño del efecto se encuentra en un intervalo, con una cierta probabilidad. Es un enfoque que sólo un pequeño paso de un Bayesiano de tratamiento, es posible que desee aprender más acerca de, si con frecuencia se encuentra en este tipo de situación.
Hay una buena respuesta a una pregunta relacionada con la que toca en la evidencia de la ausencia de pruebas, que puede encontrar útiles.
Mark White
Puntos
569
NHST se basa en los valores de p, que nos dicen que: Dado que la hipótesis nula es verdadera, ¿cuál es la probabilidad de que los observamos en nuestros datos (o más extrema de datos)?
Suponemos que la hipótesis nula es verdadera-se cuece en NHST que la hipótesis nula es 100% correcto. Pequeña p-valores nos dicen que, si la hipótesis nula es verdadera, nuestros datos (o más extrema de datos) no es probable.
Pero ¿qué hace un gran valor p nos dicen? Se nos dice que, dada la hipótesis nula, nuestros datos (o más extrema de datos) son probables.
Hablando en general, P(A|B) ≠ P(B|A).
Imagine que usted quiere tomar un gran valor de p en la evidencia para la hipótesis nula. Usted podría confiar en que esta lógica:
- Si la nula es verdadera, entonces un alto valor p es probable.
- Un alto valor de p se encuentra.
- Por lo tanto, la nula es verdadera.
Esto se lleva en el más general de la forma:
- Si B es verdadera, entonces es probable.
- Una se produce.
- Por lo tanto, B es verdadero.
Esto es falaz, aunque, como puede verse por ejemplo:
- Si llovía fuera, entonces el suelo está mojado es probable.
- El suelo está mojado.
- Por lo tanto, llovía fuera.
El suelo podría muy bien ser mojado porque ha llovido. O podría ser debido a un aspersor, alguien la limpieza de los canalones, una cañería de agua se rompió, etc. Ejemplos más extremos se puede encontrar en el enlace de arriba.
Es un concepto muy difícil de entender. Si queremos que la evidencia para la nulos, la inferencia Bayesiana es necesario. Para mí, el más accesible explicación de esta lógica es por Rouder et al. (2016). en el papel Hay un Almuerzo Gratis en la Inferencia? publicado en Temas de Ciencia Cognitiva, 8, pp 520-547.
Nebr
Puntos
221
Para comprender lo que está mal con la asunción, vea el siguiente ejemplo:
Imagina un alojamiento en un parque zoológico donde usted no puede ver a sus habitantes. Quieres poner a prueba la hipótesis de que es habitada por monos por poner un plátano en la jaula y comprobar si se ha ido el día siguiente. Esto se repite N veces para una mayor significación estadística.
Ahora usted puede formular una hipótesis nula: Dado que hay monos en el recinto, es muy probable que encontrar y comer el plátano, así que si los plátanos están intactos cada día, es muy improbable que hay monos en el interior.
Pero ahora ves que los plátanos se han ido (casi) cada día. Qué dice usted que los monos que están dentro?
Por supuesto que no, porque hay otros animales que como los plátanos así, o tal vez algunos atento cuidador quita el plátano cada noche.
Entonces, ¿cuál es el error que se realiza en esta lógica? El punto es que usted no sabe nada acerca de la probabilidad de que los plátanos se ha ido si no hay monos en el interior. Para corroborar la hipótesis nula, la probabilidad de la desaparición de los plátanos deben ser pequeños si la hipótesis nula es malo, pero esto no debe ser el caso. De hecho, el evento puede ser igualmente probables (o incluso más probable) si la hipótesis nula es malo.
Sin saber acerca de esta probabilidad, se puede decir exactamente nada acerca de la validez de la hipótesis nula. Si los cuidadores del zoológico eliminar todos los plátanos, cada noche, el experimento es completamente inútil, aunque parece a primera vista que han corroborado la hipótesis nula.
mehturt
Puntos
13
En su famoso artículo ¿por Qué la Mayoría de las Investigaciones Publicadas Conclusiones Son Falsas, ioannidis, académico e investigador utiliza el razonamiento Bayesiano y la base de la tasa de falacia argumentar que la mayoría de los resultados son los falsos positivos. Dentro de poco, el post-estudio de la probabilidad de que una determinada hipótesis de investigación es verdad depende - entre otras cosas - en el pre-estudio de la probabilidad de dicha hipótesis (es decir, la tasa de interés base).
Como respuesta, Moonesinghe et al. (2007) utilizan el mismo marco para mostrar que la replicación aumenta considerablemente el post-estudio de la probabilidad de que una hipótesis es verdadera. Esto tiene sentido: Si varios estudios se puede replicar un cierto resultado, estamos más seguros de que la conjetura hipótesis es verdadera.
He utilizado las fórmulas de Moonesinghe et al. (2007) para crear un gráfico que muestra el post-estudio de la probabilidad en el caso de un fallo para replicar un hallazgo. Supongamos que una cierta hipótesis de investigación tiene un pre-estudio de la probabilidad de ser verdadero de 50%. Además, estoy suponiendo que todos los estudios no tienen ningún sesgo realista!) tenemos un poder de 80% y el uso de un $\alpha$ de 0.05.
El gráfico muestra que si en menos de 5 de cada 10 estudios no llegan a la significación, nuestro post-estudio de la probabilidad de que la hipótesis es verdadera es casi 0. Las mismas relaciones que existen más estudios. Este hallazgo también hace sentido intuitivo: el incumplimiento reiterado de encontrar un efecto refuerza nuestra creencia de que el efecto es probablemente falsa. Este razonamiento está en línea con la aceptó responder por @RPL.
Como un segundo ejemplo, vamos a suponer que los estudios sólo tienen una potencia de 50% (todo lo demás igual).
Ahora nuestro post-estudio de la probabilidad disminuye más lentamente, debido a que cada estudio tenía sólo los de baja potencia para encontrar el efecto, si es que realmente existió.
Indio
Puntos
1
La mejor explicación que he visto para esto es de alguien cuya formación es en matemáticas.
¿Prueba de significación de hipótesis nula es básicamente una prueba por contradicción: Supongamos que $H_0$, hay evidencia de $H_1$? Si hay evidencia de $H_1$, $H_0$ de rechazar y aceptar $H_1$. Pero si no hay evidencia para $H_1$, es de planta circular que $H_0$ es verdadera porque se supone que $H_0$ era verdad para comenzar con.
