¿Cómo comprobar la prueba de hipótesis en el mundo real de los casos, sin ponerlas a prueba

Question

Sabemos que, formalmente, la hipótesis de una prueba no puede ser probado, porque si elegimos lo prueba a utilizar en función de los resultados de la prueba, el compuesto resultante de la prueba tiene propiedades desconocidas (Tipo I y II de las tasas de error). Creo que esta es una de las razones por las "Seis Sigma" tipo de enfoques a la estadística (el uso de un árbol de decisión basado en los resultados de la prueba para elegir que probar a utilizar) tener una mala reputación entre los estadísticos profesionales.

Sin embargo, con datos del mundo real, a menudo nos muestras para el clásico supuestos pueden no tener, y por lo tanto necesitamos para comprobar de una manera o de otra. ¿Qué puede realmente hacer en su trabajo de investigación? Realizar una informal comprobar, por ejemplo, tienen un vistazo a la distribución de los datos, y el uso de un t-test cuando la distribución empírica no parece muy sesgada? Esto es lo que veo que está haciendo la mayoría de las veces. Sin embargo, mientras nos tomamos una decisión basada en el resultado de este "informal de la prueba", que todavía afectan a las propiedades de la prueba, y por supuesto, si no utilizamos la verificación de tomar una decisión, el cheque es inútil y no debemos perder su precioso tiempo haciendo. Por supuesto, me pueden contestar que formal propiedades de la prueba están sobrevalorados, y que en la práctica no tenemos necesidad de ser religioso sobre el que. Esta es la razón por la que estoy interesado en lo que usted hace en la práctica, no sólo a partir de una base teórica.

Otro enfoque sería para siempre el uso de la prueba con menos suposiciones. Por lo general, yo he visto este enfoque se enmarca como prefiriendo no paramétricas pruebas a lo largo del paramétricas pruebas, ya que la anterior no supone que la estadística de prueba viene de una familia de distribuciones indexado por un vector de parámetros, por lo tanto debe ser más robusto (menos de hipótesis). Esto es cierto en general? Con este enfoque, no corremos el riesgo de uso de poca potencia de las pruebas en algunos casos? No estoy seguro. Hay un útil (posiblemente simple) de referencia para la estadística aplicada, que muestra una lista de las pruebas de los modelos a utilizar, como mejores alternativas a la clásica de los tests (prueba de t, Chi-cuadrado, etc.), y cuando usarlos?

Answer 1

Lo he visto hacer más a menudo (y que tienden a hacer yo) es buscar en varios conjuntos de datos históricos de la misma área para las mismas variables y usar eso como una base para decidir lo que es apropiado. Al hacer que uno de ellos debe tener en cuenta que leves desviaciones, por ejemplo, de la normalidad en la regresión de los residuos en general no son demasiado de un problema dado lo suficientemente grandes tamaños de muestra en el proyecto de la aplicación. Mirando de datos independientes, se evita el problema de cachondeo propiedades de la prueba como error de tipo I de control (que son muy importantes en algunas áreas como la confirmación de ensayos clínicos para fines de regulación). La razón (cuando corresponda), utilizando enfoques paramétricos es, como usted dice, la eficiencia, así como la capacidad para ajustar fácilmente para predictivo covariables como un pre-experimento de evaluación de la variable principal, y para obtener el tamaño del efecto estima que son más fáciles de interpretar que, digamos, los Setos-Lehmann estimación.

Answer 2

Personalmente, me gusta correr una prueba paramétrica y no paramétrica equivalente, y probar las hipótesis de cada uno, todos a la vez. Si los supuestos de la prueba paramétrica no son masivamente violados o si puedo obtener resultados similares con la no-paramétrico de texto, voy a utilizar la prueba paramétrica. Incluso si los supuestos paramétricos son violados, en caso de obtener resultados significativos, usted puede estar bastante seguro de que en ellos porque la prueba fue debilitado por la violación. Además, seamos honestos, es difícil hacer una interpretación significativa de los resultados como "grupo a tuvo una puntuación media puntuación que se 12 mayor que la puntuación media puntuación del grupo B.