Pruebas de permutación: criterios para elegir un estadístico de prueba

Question

Utilizo regularmente las pruebas de permutación y me encanta su sencillez. Lo que más he aprendido es el libro "Resampling methods" de Good, en el que el autor parece bastante creativo en la elección de los estadísticos de prueba a lo largo de los ejemplos. También este puesto da la impresión de que existe una gran libertad para elegir una estadística de prueba.

Me pregunto si hay requisitos teóricos que debe cumplir una estadística de prueba . ¿O podemos utilizar cualquier estadística siempre que tenga sentido intuitivo y tenga buenas tasas de error de tipo I/II?

Por ejemplo, cuando se utiliza una prueba de permutación en lugar de la prueba t debido a poblaciones no normales, he visto varias veces que el valor p de la prueba de permutación se sigue obteniendo a partir de la estadística t. Aunque no es necesariamente incorrecto, parece una elección extraña dado el origen de la distribución t de Student.

Answer 1

El estadístico t tiene mucho sentido como estadística de prueba; mucha gente lo encuentra intuitivo. Si cito un estadístico t de 0,5 o 5,5, te dice algo: cuántos errores estándar separan las medias.

La dificultad -al menos con la no normalidad moderada- no es tanto el uso de la estadística como el uso de la distribución t para su distribución bajo el nulo. La estadística es bastante sensata.

Por supuesto, si se esperan colas mucho más pesadas que la normalidad, un estadístico más robusto lo haría mejor, pero el estadístico t no es muy sensible a las desviaciones leves de la normalidad (por ejemplo, es menos sensible que el estadístico de la razón de varianza).

Si quiere utilizar sólo el numerador de la estadística, es estupendo, tiene perfecto sentido como estadística de permutación, si está interesado en una diferencia de medias. Si está interesado en un sentido más general del cambio de ubicación, abre una plétora de otras posibilidades.

Tienes razón al pensar que hay mucha libertad para elegir una estadística y adaptarla a las circunstancias particulares: contra qué alternativas quieres poder, o a qué posibles problemas te gustaría ser robusto (la contaminación, por ejemplo, puede afectar a la potencia).

En realidad, casi no hay restricciones: eres libre de elegir casi cualquier cosa, incluidas las estadísticas inútiles de las pruebas. Por supuesto, hay algunas consideraciones que deberías tener en cuenta a la hora de elegir las pruebas, pero eres libre de no hacerlo.

--

Dicho esto, hay algunos criterios que pueden aplicarse en diversas circunstancias.

Por ejemplo, si está especialmente interesado en un tipo específico de hipótesis, puede utilizar un estadístico que lo refleje; por ejemplo, si quiere probar una diferencia en las medias de la población, a menudo tiene sentido hacer que su estadístico de prueba esté relacionado con una diferencia en las medias de la muestra.

Si sabe algo sobre el tipo de distribución que podría tener -colas pesadas, o asimétricas, o teóricamente de colas ligeras pero con cierto grado de contaminación, o bimodal, ... puede idear un estadístico de prueba que podría funcionar bien en tales circunstancias, por ejemplo, eligiendo un estadístico que debería funcionar bien en la situación prevista pero que tiene cierta solidez ante la contaminación.

--

La simulación es una forma de investigar la potencia en diversas situaciones.