¿Por qué se está ejecutando pruebas de split hasta estadísticamente significativa "malo"? (¿O es?)

Question

Leí este artículo sobre "cómo no hacer una A / B test".

Y aun no entiendo lo de razonamiento exactamente el autor es. ¿Puede alguien tonto lo hacia abajo para mí?

Creo que lo que podría decir es que leyendo los resultados de mis pruebas de split con el tiempo me engaña. Quiero ser capaz de entender esto muy bien que yo puedo explicarlo a los demás, aunque.

¿Alguna ayuda?

Answer 1

Es el mejor "dos de tres" fenómeno. Sabes el chiste:

"Vamos a voltear".

"OK, vamos!"

"Uy, he perdido. Cómo acerca de voltear dos veces más, con el ganador siendo el mejor de los tres el total de veces?"

Pruebas de significación es exactamente igual que la moneda flipping (pero con sesgos en las monedas, por lo general). Si ejecuta una prueba corta y no es significativo, tal vez usted puede alcanzar la significación (en parte a través de la suerte) por la prolongación de la prueba.

El recíproco de este (estoy tentado a decir que la "otra cara" de este :-)) es que si el plan para llevar a cabo un cierto número de pruebas y pasar a ver un "significativo" del resultado temprana, que también no determinantes. Es análogo a la inversa de nuestro primer concurso:

"Vamos a voltear. Mejor dos de los tres?"

"OK, vamos!"

"Ja, me ganó la primera vuelta, así que ganar!"

Habiendo dicho esto, tenga en cuenta que hay versiones de prueba que permiten supervisar el (nominal) significación a medida que avanza. Estos trabajos, como la conclusión de un concurso temprano, cuando se pone demasiado unilateral, las denominadas reglas de misericordia. Si, en el principio, es muy obvio que la diferencia es real, usted puede ahorrar tiempo y esfuerzo por terminar la prueba. Estos son los llamados secuenciales de la prueba de hipótesis de los procedimientos. Un buen caso podría ser que estos se deben a su forma estándar de la realización de Un-B de las pruebas, porque en el largo plazo, usted pasará menos tiempo y esfuerzo en general.