Por qué rechazamos la hipótesis nula al nivel de 0.05 y no el 0.5 nivel (como se hace en la Clasificación)

Question

La prueba de hipótesis es similar a la de un problema de Clasificación. Por lo que dicen, tenemos 2 posibles etiquetas para una observación (sujeto) -- Culpable o No Culpable. Vamos a No ser Culpable de la Hipótesis nula. Si vemos el problema desde el punto de vista de la Clasificación nos gustaría entrenar un Clasificador que predicen la probabilidad de que los sujetos pertenecientes a cada una de las 2 Clases, a la vista de los Datos. Nos gustaría, a continuación, elegir la Clase con mayor probabilidad. En ese caso 0.5 probabilidad sería el umbral natural. Podemos variar el umbral en el caso de que se le asignaron diferentes costos de Falsos Positivos vs Negativos Falsos errores. Pero rara vez nos iría tan extrema como establecer el umbral de 0,05, es decir, asignar el tema a la Clase "Culpable" sólo si la probabilidad es de 0,95 o superior. Pero si entiendo bien, esto es lo que estamos haciendo como una práctica estándar cuando vemos el mismo problema como un problema de prueba de Hipótesis. En este último caso, no vamos a asignar la etiqueta de "No Culpable" --equivalente a la asignación de la etiqueta de "Culpable" - sólo si la probabilidad de ser "No Culpable" es menor que 5%. Y tal vez esto podría tener sentido si de verdad queremos evitar para condenar a personas inocentes. Pero, ¿por qué esta regla debe prevalecer en todos los Dominios y en todos los casos?

Decidir qué Hipótesis para adoptar es equivalente a definir un Estimador de la Verdad la vista de los Datos. En la Estimación de Máxima Verosimilitud, aceptamos la Hipótesis de que es más probable, dada la Información, aunque no necesariamente de manera abrumadora más probable. Ver el siguiente gráfico:

El uso de un enfoque de Máxima Verosimilitud nos estaría a favor de la Hipótesis Alternativa en este ejemplo, si el valor de la Predictor fue de 3, por ejemplo, 4, aunque la probabilidad de que este valor se han derivado de la Hipótesis Nula hubiera sido mayor que 0.05.

Y aunque el ejemplo con el que he empezado el post es quizás emocionalmente cargada, se podría pensar en otros casos, por ejemplo, una mejora técnica. Por qué debemos dar una ventaja para el Status Quo cuando los Datos nos dicen que la probabilidad de que la nueva solución es una mejora, es mayor que la probabilidad de que no es?

Answer 1

Digamos que terminan en la corte y no lo has hecho. ¿Crees que es justo que usted todavía tiene un 50% de probabilidades de ser encontrado culpable? Es un 50% de probabilidad de ser inocente "culpable más allá de la razonable duda"? ¿Crees que es justo que usted tenía un 5% de probabilidad de ser encontrado culpable, aunque no ha de hacerlo? Si yo estuviera en el tribunal consideraría 5% no suficientemente prudentes.

Tienes razón en que el 5% es arbitrario. Podríamos elegir el 2% o 1%, o si eres nerd $\pi$% o $e$%. Hay personas que están dispuestas a aceptar el 10%, pero el 50% nunca será aceptable.

---

En respuesta a su edición de la pregunta:

Su idea sería razonable si todas las hipótesis fueron creados de la misma. Sin embargo, ese no es el caso. Típicamente la atención acerca de la hipótesis alternativa, por lo que debemos reforzar nuestro argumento si elegimos un bajo $\alpha$. En ese sentido, el ejemplo que usted eligió originalmente ilustra este punto.

Answer 2

Es como usted dice - depende de cómo importante de Falsos Positivos y los Falsos Negativos son los errores.

En el ejemplo se utiliza, como Martín Buis contestado ya, de ser condenado si hay un 50% de probabilidades de que eran inocentes es apenas justo.

A la hora de aplicarlo a la investigación, mire de esta manera: Imagina que quieres saber si un nuevo medicamento ayuda contra una determinada enfermedad. Dicen que encontrar una diferencia entre el grupo de tratamiento y su grupo de control en favor del tratamiento. Genial!!! La medicina debe trabajar, ¿verdad? Usted puede rechazar la hipótesis nula de que el medicamento no funciona. Su p-valor es de 0,49! Hay una mayor probabilidad de que el efecto encontrado fue basada en la verdad en lugar de por la oportunidad!
Ahora considere esto: la medicina ha desagradables efectos adversos. Usted sólo desea tomar si usted está convencido de que funciona. Y tú? No, porque todavía hay un 51% de probabilidad de que la diferencia encontrada entre los dos grupos fue por casualidad.

Me imagino que hay dominios en los que usted está satisfecho con, por ejemplo, el 10%. He visto artículos donde el 10% es aceptado. También he visto artículos donde se eligió el 2%. Depende de que tan importante crees que sea que usted está convencido de que el rechazo de la hipótesis nula se basa en la verdad y no en la casualidad. Me cuesta imaginar una situación en la que usted está satisfecho con un 50% de probabilidad de que la diferencia encontrada fue basada en la pura suerte.

Answer 3

Otras respuestas han señalado que todo depende de cómo relativamente valor de las diferentes posibles errores, y que en un contexto científico $.05$ es potencialmente muy razonable, incluso más estrictas criterio también es potencialmente muy razonable, pero que $.50$ es poco probable que sea razonable. Eso es verdad, pero permítanme que aproveche esta en una dirección diferente y desafían la suposición de que se encuentra detrás de la pregunta.

---

Tomar "[h]ypothesis pruebas de [ser] similar a la de un problema de Clasificación". La aparente similitud es sólo superficial, que no es realmente cierto en un sentido significativo.

En un problema de clasificación binaria, realmente hay sólo dos clases; que puede ser establecido en absoluto y a priori. La prueba de hipótesis no es así. Su figura se muestra una nula y una hipótesis alternativa ya que a menudo son atraídos para ilustrar un análisis de la potencia o de la lógica de la prueba de hipótesis en las Estadísticas 101 de la clase. La cifra implica que hay una hipótesis nula y una hipótesis alternativa. Mientras que es generalmente cierto que hay sólo uno nulo, la alternativa no es fija para ser un único punto de valor de la (digamos) diferencia de medias. Cuando la planificación de un estudio, los investigadores a menudo seleccione un valor mínimo que quieren ser capaces de detectar. Digamos que, en algún estudio en particular, es una media de cambio de $.67$ SDs. Para que el diseño y la potencia de su estudio en consecuencia. Ahora imagine que el resultado es significativo, pero $.67$ no parece ser un valor probable. Bueno, no sólo a pie! Los investigadores a pesar de ello la conclusión de que el tratamiento que hace una diferencia, pero ajustar su creencia acerca de la magnitud del efecto de acuerdo a su interpretación de los resultados. Si hay múltiples estudios, un meta-análisis ayudará a refinar el verdadero efecto a medida que los datos se acumula. En otras palabras, la alternativa que se ofreció durante la planificación de los estudios, y que se dibuja en su figura, no es realmente una singular alternativa tal que los investigadores deben elegir entre éste y el valor null como su única opción.

Vamos a ir sobre esto de una manera diferente. Se podría decir que es bastante simple: la hipótesis nula es verdadera o es falsa, por lo que realmente hay sólo dos posibilidades. Sin embargo, la nula es normalmente un valor de punto (viz., $0$) y la nula siendo falsa, simplemente significa que cualquier valor distinto exactamente $0$ es el valor verdadero. Si recordamos que un punto no tiene ancho, esencialmente $100\%$ de la cantidad de la línea corresponde a la alternativa de ser cierto. Por lo tanto, a menos que el resultado observado es $0.\bar{0}$ (es decir, de cero a infinito de decimales), el resultado será más cercano a algunos no$0$ valor que es a $0$ (es decir, $p<.5$). Como resultado, usted siempre terminan concluyendo que la hipótesis nula es falsa. Para hacer esto explícito, la premisa equivocada en tu pregunta es que hay una única y significativa de la línea azul (como se muestra en la figura) que pueden ser utilizados como usted sugiere.

La anteriormente no tiene que ser siempre el caso, sin embargo. A veces ocurre que hay dos teorías diferentes predicciones acerca de un fenómeno, que están suficientemente bien mathematized para rendir el punto preciso de las estimaciones y la probable distribución de muestras. A continuación, un experimento crítico puede ser diseñada para diferenciar entre ellos. En tal caso, la teoría no debe ser tomado como el nulo y el cociente de probabilidad puede ser tomado como el peso de la evidencia a favor de uno o de la otra teoría. Que el uso sería análogo a la toma de $.50$ como su alfa. No existe ninguna razón teórica este escenario no podía ser el más común en la ciencia, lo que ocurre es que es muy raro que haya dos teorías en la mayoría de los campos a la derecha ahora.

Answer 4

Para agregar a la muy buena respuestas anteriores: Sí, el 5% es arbitrario, pero independientemente de las específicas del umbral de selección, que ha de ser razonablemente pequeño, de lo contrario, la prueba de hipótesis no tiene mucho sentido.

Estás buscando un efecto y quieren asegurarse de que sus resultados no son puramente debido a la oportunidad. En esa medida, se establece un nivel de significación que dice, básicamente, "Si en realidad hubo ningún efecto (hipótesis nula es verdadera), esta sería la probabilidad de que todavía obtener tales resultados (o más extremo) por pura casualidad". La configuración de este demasiado alto hará que un montón de falsos positivos, y socavar su capacidad para obtener una significativa respuesta a su pregunta de investigación.

Como siempre, hay un trade-off involucrados, por lo que la investigación de la comunidad se acercó con un 5% de la pauta. Pero es diferente en diferentes campos. En física de partículas, es más como el 0,00001% o algo así.

Answer 5

Clasificación y pruebas de hipótesis son diferentes y ha sido utilizado de manera diferente. En la mayoría de los casos, la gente usa

• La "clasificación" de" para realizar la tarea de "clasificar algo, según compartido cualidades o características".
• Y el uso de "prueba de hipótesis" para verificar algunos "descubrimientos significativos".

Tenga en cuenta que, en la prueba de hipótesis, la "hipótesis nula" es "de sentido común", pero si podemos rechazar la hipótesis nula, entonces tenemos un descanso, aunque.

Esta es la razón por la que hemos más estrictos criterios en la prueba de hipótesis. Creo que el ejemplo de desarrollo de nuevos arrastra, queremos ser muy cuidadosos para decir que el es significativo y eficaz.