¿Por qué un $F$ -de 1, resulta en un $p$ -valor de alrededor de 0,5?

Question

Me han presentado la siguiente cadena de razonamiento.

1. En un ANOVA, si la hipótesis nula es verdadera, se espera que el estadístico F sea aproximadamente 1.

2. Un valor p es la probabilidad de obtener resultados de la prueba al menos tan extremos como los resultados realmente observados, bajo el supuesto de que la hipótesis nula es correcta.

3. Por lo tanto, un estadístico F de 1 debería dar lugar a un valor p de aproximadamente 0,5.

Intuyo que esto no puede ser correcto en general, porque jugando en R parece que el valor p sólo sale como 0,5 cuando $d_1 = d_2$ .

d1 <- 1  
d2 <- 200  
1-pf(1, d1, d2)

Sin embargo, no sé cómo explicar por qué no es cierto, en general, que un estadístico F de 1 resulte en un valor p de aproximadamente 0,5, pero sí lo es cuando $d_1 = d_2$ .

Answer 1

Creo que esta cadena de razonamiento contiene un poco de confusión entre la media y la mediana. Se debería esperar un valor p de 0,5 en la mediana teórica (es decir $F^{-1}(0.5)$ ), no el valor esperado. Al observar la FCD de una distribución F, parece que la mediana está en 1 para $d_1 = d_2$ pero no para $d_1 \neq d_2$ que está en consonancia con sus observaciones.

Answer 2

Supongamos que un ANOVA de una vía tiene tres niveles del factor, y que los tres niveles son exactamente de la misma distribución normal. Entonces, si cada nivel tiene 20 réplicas los datos de los tres niveles pueden ser muestreados (simulados) como se muestra a continuación. Utilizaré oneway.test para hacer el ANOVA porque es el más sencillo de utilizar.

set.seed(906)
x = rnorm(3*20, 100, 15);  g = rep(1:3, each=20)
oneway.test(x ~ g)

        One-way analysis of means (not assuming equal variances)

data:  x and g
F = 0.77799, num df = 2.000, denom df = 37.441, p-value = 0.4666

Para estos datos concretos $F = 0.78 \ne 1,$ y el valor P, alrededor de $0.47,$ demasiado grande para rechazar la hipótesis nula. (No rechazar la hipótesis es la decisión correcta porque los tres grupos provienen exactamente de la misma distribución). Además, el valor P no está muy lejos de su valor especulado $0.5.$

Ahora vamos a intentar $100\,000$ tales ANOVAs y observar el comportamiento general del valor P.

set.seed(906)
pv = replicate(10^5, oneway.test(rnorm(60,100,15)~g)$p.val)
summary(pv)
     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
0.0000102 0.2520117 0.4995210 0.5004963 0.7501248 0.9999940 

El media El valor P es de aproximadamente $0.5$ como usted sugirió. Pero más precisamente, la distribución de la $100\,000$ Los valores P son casi uniformes.

hist(pv, prob=T, col="skyblue2")
curve(dunif(x, 0,1), add=T, col="red", n=10001, lwd=2)

Nota: Para ser absolutamente honesto, tal vez la distribución del valor P aquí no exactamente uniforme estándar aquí. El procedimiento oneway.test utiliza un estadística de prueba aproximada.

Este ANOVA no requiere varianzas de grupo que sean iguales y el estadístico F se altera ligeramente para tener en cuenta las diferencias entre las varianzas de las muestras de los grupos. La alteración es relativamente pequeña en este caso porque los grupos tienen varianzas poblacionales iguales.

Answer 3

Hay más de un tipo de prueba ANOVA, la que utilizaré para tratar de dar una idea sobre esta cuestión es la prueba F aplicada a la regresión lineal donde la hipótesis nula es que todos los regresores son iguales a cero.

1. A grandes rasgos, esto es correcto, pero el valor del estadístico F aumenta con más regresores en un modelo. Digamos que se toma un modelo de regresión y se le añade otro regresor. Entonces, éste se ajustará al menos tan bien como el modelo original. El numerador del nuevo modelo será probablemente mayor que antes y el denominador probablemente menor. Por tanto, el estadístico F calculado de su nuevo modelo será mayor o igual que el original.

2. Sí. Aunque es un poco peor que eso, ya que todo depende de que las suposiciones requeridas de la prueba en particular sean correctas. Un valor p bajo te dice que algo de un modelo es improbable, y se espera que sea la parte de la hipótesis nula y no los supuestos de la prueba estadística en particular.

3. Esto no tiene en cuenta la parte 1., que el valor del estadístico F obtenido depende de los grados de libertad. Los grados de libertad están afectando a la distribución acumulativa de las formas que ha descubierto por simulación.

Answer 4

El punto "1" está básicamente bien. Si la hipótesis nula del ANOVA es verdadera, el valor esperado de $p$ es $0.5$ y la respuesta de @BruceET ayuda a intuir por qué es así. "Sobre $1$ "es una glosa razonable para el valor esperado de $F$ bajo la hipótesis nula del ANOVA, aunque la cercanía a $1$ depende del valor de $d_2$ . Más concretamente, el valor esperado de $F$ bajo la hipótesis nula del ANOVA es $\frac{d_2}{d_2−2}$ ).

El punto "2" está bien.

El verdadero problema se produce en el punto "3". Como señala @nope, un $p$ -valor de $0.5$ debería esperarse a la mediana teórica ( $F^{−1}(0.5)$ ), y no el valor esperado de, $F$ .

Presento una discusión más, que será demasiado básica para algunos espectadores de este sitio, pero que fue útil para convencer a mi interlocutor de que, efectivamente, algo había fallado en el punto "3".

En las aplicaciones de ANOVA $d_1$ será $< d_2$ , ya que $d_1$ se calcula como $k-1$ , mientras que $d_2$ se calcula como $N-k$ , donde $N$ es el tamaño de la muestra y $k$ es el número de grupos.

Mientras que $d_1 < d_2$ la distribución real de $F$ s bajo la hipótesis nula contiene muchos $F$ -valores $< 1$ con la media $F$ -valor arrastrado hacia arriba a $≈1$ por los ocasionales grandes $F$ -valor. Así, la mediana $F$ producido bajo la hipótesis nula (la $F$ lo que concuerda con $p=0.5$ ) es $< 1$ .

A continuación he pegado un código R que genera un gráfico de la distribución empírica de muestras aleatorias $F$ -valores en un escenario ANOVA cuando hay $3$ grupos de $30$ sujetos (es decir $d_1=2,d_2=87)$ y la hipótesis nula es verdadera.

Es fácil ver que esto coincide con la distribución teórica de $F$ -valores.

number_of_groups <- 3
group_size <- 30
mean <- 100
sd <- 15
num_samples <- 30000
percentile <- 50 # 50 for median, 95 for critical F-value at α=0.05, etc

sampled_Fs <- vector(mode = "numeric", length = num_samples) 
sampled_Ps <- vector(mode = "numeric", length = num_samples) 

d1 <- number_of_groups - 1
d2 <- group_size * number_of_groups - number_of_groups

for(i in 1:num_samples) {

  x = rnorm(number_of_groups*group_size, mean, sd)
  g = rep(1:number_of_groups, each=group_size)

  ANOVA_results <- aov(x ~ as.factor(g))
  sampled_Fs[i] <- summary(ANOVA_results)[[1]][["F value"]][[1]]
  sampled_Ps[i] <- summary(ANOVA_results)[[1]][["Pr(>F)"]][[1]]

} 

sprintf("Under the null hypothesis the expected value of F(d1=%d,d2=%d) is %f", d1, d2, (d2/(d2-2)))

sprintf("Across %d random samples, the mean F(d1=%d,d2=%d) was %f", num_samples, d1, d2, mean(sampled_Fs))

sprintf("Across %d random samples, the mean p-value was %f", num_samples, mean(sampled_Ps))

sprintf("Under the null hypothesis the %fth percentile of the F-value (d1=%d, d2=%d) is expected to be %f", percentile, d1, d2, qf(percentile/100,d1,d2))

sprintf("Across %d random samples, the F-value (d1=%d, d2=%d) at the %fth percentile was %f", num_samples, d1, d2, percentile,quantile(sampled_Fs,percentile/100))

hist(sampled_Fs,breaks="FD",xlim=c(0, 10),xlab="F-value",col="skyblue2",main=paste(num_samples,"randomly sampled F-values under the\n ANOVA null hypothesis with d1 =", d1, "and d2 =",d2))

curve(df(x, d1, d2), from=0, to=10, xlab="F-value", ylab="Probability density",main=paste("PDF for F-distribution with d1 =", d1, "and d2 =",d2))