¿Cómo arreglar el umbral para la validez estadística de los valores de p producidos por ANOVAs?

Question

Tengo ejecutar experimentos en un grupo de usuarios bajo dos condiciones, midiendo el tiempo que le tomó a los usuarios para terminar sus experimentos. He utilizado un diseño cruzado, donde la mitad de los usuarios se inició en la primera de las condiciones para terminar con la segunda, y la otra mitad de los usuarios ni de la otra manera alrededor.

I analizar los datos que proporcionen en un par de diferentes análisis de varianza, y encontrar diferentes valores de p para mi hipótesis. Algunas están por debajo de 0.05, algunas están por debajo de 0.01, algunos son más de 0.05.

Necesito arreglar un nivel alfa de significación estadística para ser utilizado en todos mis análisis, o puedo informar algo como 'Hipótesis es demostrar la verdad en nivel alfa de 0,05, mientras que la Hipótesis B es verdadero en el nivel alfa de 0.01 (por lo tanto, posiblemente una prueba fehaciente)'?

No sé si estoy siendo lo suficientemente claro aquí. Hágamelo saber y voy a agregar detalles si es necesario.

Gracias.

Answer 1

Hey, pero parece que ya se veía en los resultados!

Generalmente, el riesgo de que falsamente rechazar la nula (error de Tipo I, o $\alpha$) debe ser decidido antes de empezar el análisis. El poder también puede ser fijado a un valor dado (por ejemplo, 0.80). Al menos, esta es la "Neyman-Pearson". Por ejemplo, usted podría considerar la posibilidad de un riesgo del 5% ($\alpha=0.05$) para todos sus hipótesis, y si las pruebas no son independientes debe tener en cuenta la corrección por comparaciones múltiples, el uso de un solo paso o paso-abajo métodos que te gusta.

Cuando el informe de resultados, debe indicar el Tipo I (y II, si es aplicable) error en la cuenta (antes de ver los resultados!), corregido o no para comparaciones múltiples, y dar a sus valores de p como p<.001 y p=.0047 por ejemplo.

Por último, me gustaría decir que las pruebas permiten rechazar una determinada hipótesis nula no se prueban Hipótesis, a o B. por otra parte, lo que usted describe como 0.001 siendo un poco más fuerte indicación de un interesante desviación de la anulación de 0,05 es de más de luz con el método de Fisher para las pruebas de hipótesis estadísticas.

Answer 2

Mi consejo sería que andarse con mucho cuidado con los valores de p, si no tiene una hipótesis específica en mente antes de empezar el experimento. Ajuste de los valores de p para los múltiples y "vagamente" hipótesis (por ejemplo, no se especifica la hipótesis alternativa) es difícil.

Supongo que el "purista" le diría que esto debe ser corregido antes de buscar en los datos (uno de mis profesores de la llamada no hacer este deshonestidad intelectual), pero sólo quiero decir que esto es adecuado para el "análisis de confirmación" cuando un modelo definido (o un conjunto de modelos) se ha establecido antes de los datos de ser visto.

Si el análisis es más "exploratorio", entonces yo no me preocuparía acerca de nivel de precisión mucho, más bien tratar de encontrar relaciones y tratar de explicar por qué puede estar allí (es decir, usar el análisis para construir un modelo). tentativa de prueba de hipótesis que pueden ser útiles como una guía inicial, pero que usted necesita para obtener más datos para confirmar su hipótesis.

Una manera útil para "obtener más información" sin correr otro experimento es "bloquear" una parte de sus datos y utilizar el resto para "explorar" y, a continuación, una vez que esté seguro de un modelo potencialmente útil, "prueba" de su teoría con los datos que "bloqueada". NOTA: usted puede hacer la "prueba" de una vez!