El $z$ -prueba contra el $\chi^2$ -prueba para comparar las probabilidades de contraer un resfriado en 2 grupos

Question

Acabo de leer en una revista de ciencia (de divulgación) bastante respetada (la alemana PM, 02/2013, p.36) sobre un interesante experimento (sin fuente, por desgracia). Me llamó la atención porque intuitivamente dudaba de la importancia del resultado, pero la información proporcionada era suficiente para reproducir la prueba estadística.

Los investigadores se preguntaron si el hecho de pasar frío en un clima frío aumenta las probabilidades de contraer un resfriado. Así que dividieron al azar a un grupo de 180 estudiantes en dos grupos. Un grupo tenía que meter los pies en agua fría durante 20 minutos. El otro se quedó con los zapatos puestos. Me parece una manipulación curiosa, pero por otro lado no soy médico y quizá los médicos piensen raro. Cuestiones éticas aparte.

En cualquier caso, después de 5 días, 13 de los estudiantes del grupo de tratamiento estaban resfriados, pero sólo 5 en el grupo que mantuvo los zapatos puestos. Por lo tanto, la razón de probabilidades de este experimento es de 2,87.

Dado el pequeño tamaño de la muestra, empecé a preguntarme si esta diferencia podría ser significativa. Así que realicé dos pruebas.

En primer lugar, una simple prueba de igualdad de proporciones utilizando la aproximación normal. Esta prueba tiene $z=1.988$ con $p=0.0468$ . Mi opinión es que esto es lo que los investigadores probaron. Esto es realmente significativo. Sin embargo, esta prueba z sólo es válida en muestras grandes, si no me equivoco, debido a la aproximación normal. Además, las tasas de prevalencia son bastante pequeñas y me pregunto si esto no puede afectar a la tasa de cobertura del intervalo de confianza del efecto.

Así que mi segundo intento fue una prueba de chi-cuadrado de independencia, tanto con la simulación de Monte-Carlo como con la chi-cuadrado estándar de Pearson. Aquí encuentro valores p tanto de $p=.082$ .

Ahora todo eso no es tan tranquilizador en cuanto a los resultados. Me preguntaba si hay más opciones para probar estos datos y cuál es su opinión sobre las dos pruebas (en particular los supuestos de la primera prueba, significativa)

Answer 1

@jbowman te ha dado una buena opción. He pensado que podría aportar algo de información respecto a tus preguntas explícitas sobre la idoneidad del $z$ -prueba contra el $\chi^2$ prueba.

$\boldsymbol z$ -prueba:

Hay dos preocupaciones sobre la conveniencia de utilizar el $z$ -prueba, ambas relativas a si la distribución de muestreo asumida es correcta. En primer lugar, la $z$ -utiliza la distribución normal en lugar de la $t$ -lo que implica que las desviaciones estándar se conocen sin error de muestreo. En segundo lugar, la distribución muestral es continua, pero los datos son discretos; como sólo son posibles ciertas combinaciones de datos, sólo son posibles ciertos valores estadísticos de prueba resultantes, que pueden no coincidir con la distribución muestral teórica. (Aquí se trata este tema en el contexto de otras pruebas: Comparación y contraste, valores p, niveles de significación y error de tipo I .)

Consideremos la primera preocupación en un contexto diferente. Si tenemos dos grupos con datos distribuidos normalmente, y queremos ver si las medias son equivalentes, tenemos que calcular tanto las medias como las desviaciones estándar. Ahora sabemos que las medias están sujetas al error de muestreo, por eso tenemos que hacer la prueba en lugar de decir simplemente que estas dos medias muestrales no son idénticas. Sin embargo, nuestras estimaciones de las desviaciones estándar también tienen que estar sujetas a un error de muestreo y tenemos que tener en cuenta este hecho de alguna manera. Cuando lo hacemos, resulta que la estadística de la prueba (una especie de diferencia de medias a escala) se distribuye como $t$ . Si en su lugar utilizáramos la distribución normal (es decir, la $z$ -), significaría que estamos asumiendo que nuestras estimaciones de las desviaciones estándar no tienen errores, es decir, son perfectas. Entonces, ¿por qué el $z$ -¿se puede utilizar en su caso? La razón es que sus datos son binomio (es decir, el número de "aciertos" de un total conocido de "ensayos"), en lugar de lo normal. En el distribución binomial La desviación estándar es una función de la media, por lo que una vez que se ha estimado la media no hay ninguna incertidumbre adicional de la que preocuparse. Por lo tanto, la distribución normal puede utilizarse como modelo de la distribución muestral de la estadística de la prueba.

Aunque utilizar la distribución normal para entender el comportamiento a largo plazo de la estadística de la prueba es técnicamente correcto, surge otro problema. El problema es que la distribución normal es continua, pero como sus datos son discretos, no todos los valores de la distribución teórica pueden encontrarse en su conjunto de datos. (Una vez más, analizo esta cuestión con bastante más detalle en la respuesta del enlace anterior). Afortunadamente, la correspondencia entre los posibles resultados de los datos y la distribución normal teórica de muestreo mejora cuanto más grande sea el conjunto de datos. $N$ . En su caso, independientemente de las verdaderas probabilidades subyacentes, podría tener tanto como todos los aciertos o como ninguno en cada grupo. Eso significa que el número de combinaciones posibles es $91\times 91 = 1,\!729$ que es un montón de posibilidades. Con un conjunto de datos pequeño, puedes encontrarte con algunos de los tipos de problemas que comento en mi respuesta vinculada, pero con $N = 180$ no tienes mucho de qué preocuparte. Creo que el $z$ -la prueba era una opción válida para los investigadores.

$\boldsymbol \chi^2$ -prueba:

Pero ¿qué pasa con el $\chi^2$ -¿prueba? Creo que también es una opción válida, pero no sería mi primera opción. (Permítanme señalar de paso que la segunda preocupación discutida anteriormente - un desajuste entre los datos discretos y una distribución de referencia continua - se aplica igualmente a la $\chi^2$ -prueba como lo hace a la $z$ -prueba, por lo que no hay ninguna ventaja en este caso). El problema con el $\chi^2$ -es que no supone que haya nada especial en los totales de las columnas con respecto a los totales de las filas; ambos se tratan como si pudieran ser otros valores posibles. Sin embargo, esto no refleja con exactitud la configuración experimental. Había 180 personas, y se asignaron 90 a cada grupo. Lo único que variaría realmente entre estudios idénticos repetidos es el número de personas que se resfriaron en cada grupo. La página web $\chi^2$ -prueba trata incorrectamente tanto el número de resfriados como el número de personas en cada grupo como si pudieran variar, pero el $z$ -prueba hace la suposición correcta. Por eso el $z$ -prueba tiene más poder aquí.

Por si sirve de algo, la prueba de permutación sugerida por @jbowman también consigue este aspecto de su diseño correctamente y no sufre el problema de desajuste discreto-continuo. Por lo tanto, es la mejor opción. Pero pensé que te gustaría saber un poco más acerca de cómo el $z$ - y $\chi^2$ -comparar las pruebas en su situación.

Answer 2

Yo usaría un prueba de permutación en lugar de la aproximación Normal o la chi-cuadrado. La prueba de permutación es exacta y más potente, condicionada a los datos.

En este caso, no podemos calcular todas las permutaciones de los grupos, pero podemos generar muchas permutaciones aleatorias de los datos y obtener un valor bastante preciso:

group <- c(rep("A",90),rep("B",90))
n_a <- rep(0,100000)
for (i in 1:length(n_a)) {
   temp <- sample(group, size=18)
   n_a[i] <- sum(temp == "A")
}
> mean(n_a >= 13)
[1] 0.03904

lo que indicaría un valor p de 0,039.

SIN EMBARGO, y este es un gran sin embargo, supongo que se viola la suposición de que los sujetos que se resfrían son eventos independientes. Estos individuos son estudiantes, presumiblemente en la misma escuela. Imagina que dos de ellos comparten una clase, o un dormitorio, o alguna otra actividad, o una cafetería (en una escuela con múltiples cafeterías); los eventos "#1 se resfría" y "#2 se resfría" no son independientes. Podría imaginar que un estudiante dijera "¡vamos a apuntarnos a este experimento!" a su compañero de habitación o a sus amigos; podría imaginar que los estudiantes fueran reclutados en las clases que imparten los profesores; podría imaginar un montón de formas en las que se viola el supuesto de independencia. Tal vez el documento, que no he leído, aborde algunas de ellas, pero es difícil ver cómo podría abordarlas todas, y las otras que se me ocurren rápidamente.