Experimento o simulación para conceptualizar tipo I y tipo errores II

Question

Estudio tipo I y errores tipo II y conceptos básicos de comprobación de hipótesis. Para mejor desarrollar mi intuición que me gustaría escribir algunas simulaciones simples.

Lo que espero es conseguir una simulación base va, que yo luego puedo modificar para entender esta área.

No estoy buscando código en un lenguaje específico. Sin embargo, pseudo código sería genial, o referencias a un ejemplo bien documentado.

Gracias.

Answer 1

Salida "Baile los valores de p" de Geoff Cumming

http://www.youtube.com/watch?v=ez4DgdurRPg&feature=plcp

Cummings es el autor de "Comprender las nuevas estadísticas."

Answer 2

Esta sería la opción más básica de procedimiento detrás de cualquier simulación de este tipo:

Los errores de tipo I:

1. Tener una computadora que genere un conjunto (de tamaño $n$) de números pseudo aleatorios que se ajusten a una distribución particular (el normal sería de lo más típico).
2. Generar un segundo conjunto idéntico (es decir, la misma distribución, parámetros, y el tamaño).
3. Llevar a cabo una prueba estadística de estos datos (como he descrito esto, un t-test sería apropiado).
4. Almacenar el resultado p-valor.
5. Repetir (repeat) el procedimiento anterior muchas veces (por ejemplo, 10k es popular).
6. Determinar la proporción observada de p-valores caen por debajo de su elegida $\alpha$ (por lo general .05).
   (Tenga en cuenta que esta proporción observada debe estar muy cerca de $\alpha$.)

Tipo II errores (modificar el procedimiento anterior como sigue):

Para el segundo paso: Generar un segundo conjunto de números pseudo aleatorios que difieren desde el primer set en un pre-especificado de forma (normalmente la media se diferencian por una cierta cantidad).

En el sexto paso: la proporción observada de los valores de p por debajo de $\alpha$ casi seguro que difieren de $\alpha$ por una gran cantidad. La proporción observada es una estimación de la potencia estadística de la prueba para que la situación exacta (es decir, los datos de esas distribuciones, con esos parámetros, con los $n$'s).

---

El uso de simulaciones en la manera como este para explorar las propiedades de las pruebas o situaciones, o para conducir energía de análisis es muy común. Además, han sido comúnmente utilizadas en este sitio para demostrar / explicar los conceptos estadísticos. Aquí son algunos de los mensajes que usted puede explorar si usted desea:

• Este es un ejemplo donde yo solía dicha simulación para mostrar que la energía disminuye a medida que el grupo dos tamaños convertido en cada vez más desigual: ¿Cómo se debe interpretar la comparación de medias de los diferentes tamaños de muestra?
• Esta es una muy amplia discusión sobre el uso de simulaciones para evaluar el poder: Simulación de la regresión logística, el análisis de poder - los experimentos diseñados.
• Una discusión más amplia sobre el uso de simulaciones para entender conceptos estadísticos se puede encontrar aquí: el Uso de simulaciones por ordenador para entender mejor los conceptos estadísticos en el nivel de postgrado.

Answer 3

Es el ejemplo más común de este tipo: tomar una variante aleatoria normal, $X_1$, que puede ser o $\mathcal{N}(0,1)$ o $\mathcal{N}(2,1)$. Si se construye una prueba de aceptación de $\mathcal{N}(0,1)$ cuando $x_11.68$, es algo simple de simulación para comprobar que el tipo error es $0.05$ y el tipo errores II $0.37$. Por ejemplo,

y

Por supuesto, la simulación no es muy útil en este caso, donde todo puede calcularse analíticamente.