La diferencia entre dos medias poblacionales

Question

Intento responder a esta pregunta:

There is no difference between two population means. From each of these two populations
a sample is selected and then for both samples the means are calculated. 

Consider this:
"since the null hypo is true, a significant result can never be found when we perform
a t-test for independent measures (two-tailed, alpha = 0.05)

¿Podemos decir que la respuesta es correcta, parcialmente correcta o insuficiente? No sé muy bien qué camino tomar.

Answer 1

Esto es totalmente falso. Hagamos una simulación con R.

set.seed(2021)
ps <- rep(NA, 1000)
for (i in 1:1000){

    # Simulate data from two identical distributions
    #
    x <- rnorm(100)
    y <- rnorm(100)

    # Test the means, save the p-value
    #
    ps[i] <- t.test(x, y, var.equal=T)$p.value
}

hist(ps)
summary(ps)

Cuando lo ejecute, observará que varios de los valores p son inferiores a $0.05$ . De hecho, alrededor de $5\%$ caerá por debajo de $0.05$ .

Resulta que, bajo la hipótesis nula, el valor p tiene una distribución uniforme en $[0,1]$ .