¿Por qué el número de falsos positivos es independiente del tamaño de la muestra, si utilizamos los valores p para comparar dos conjuntos de datos independientes?

Question

Si ejecuto el código R que aparece a continuación, generará dos vectores independientes y luego los probará para ver si están relacionados de alguna manera (es decir, valor p < 0,05).

Si repito esto 1.000 veces, entonces 50 de ellas (5%) tendrán un falso positivo, con un valor p < 0,05. Esto es un error de tipo 1.

Si aumentamos sampleSize a 1000, o incluso a 100.000, los resultados son los mismos (5% de falsos positivos).

Me cuesta entender esto, ya que habría pensado que si recogiéramos suficientes muestras, la probabilidad de un falso positivo disminuiría hacia 0 (al igual que la correlación).

Entonces, supongo que mi pregunta es: "¿Cómo es posible que el número de falsos positivos, basado en los valores p generados al comparar dos conjuntos de datos independientes, sea independiente del tamaño de la muestra?".

# R code to demonstrate that with a large dataset, we can still 
# get significant p-values, purely by chance.

# Change this to 1000, and we still get the same number of false positives (50, or 5%).
sampleSize = 20

cat("Sample size:",sampleSize,"\n")

set.seed(1010093)
n=1000
pValues <- rep(NA,n)
for(i in 1:n){
    y <- rnorm(sampleSize)
    x <- rnorm(sampleSize)
    pValues[i] <- summary(lm(y ~ x))$coeff[2,4]
}
# Controls false positive rate
fp = sum(pValues < 0.05)
cat("Out of ",n," tests, ",fp," had a p-value < 0.05, purely by by chance.\n",sep="")

----output----
Running "true positives - none.R" ...
Sample size: 1000 
Out of 1000 tests, 52 had a p-value < 0.05, purely by by chance.

Answer 1

Usted eligió la proporción cuando eligió esta regla: " (es decir, valor p < 0,05)"

Eso significa literalmente que estás eligiendo tener un 5% de falsos positivos cuando H0 es verdadera.

http://en.wikipedia.org/wiki/P-value

Si quiere que la proporción de falsos positivos disminuya, no debe mantener su nivel de significación constante a medida que aumenta el tamaño de la muestra. De hecho, hay muy buenos argumentos para que el nivel de significación disminuya con tamaños de muestra grandes (por ejemplo, sobre la base de minimizar el coste total de las decisiones erróneas)

Answer 2

Creo que esta cuestión se debe a una confusión fundamental sobre cómo el paradigma Neyman-Pearson para pruebas estadísticas de hipótesis obras, pero una muy interesante. La analogía central que utilizaré para discutir esto es la idea de referencia absoluta vs. relativa en informática, que será más familiar para la gente a través de cómo se desarrolla en la escritura de funciones en Excel. (Hay una guía rápida sobre esto ici .) La idea es que algo puede estar fijado en una posición determinada en una escala absoluta, o sólo puede estar en una posición relativa a otra cosa; el resultado es que si la "otra cosa" cambia, la segunda también cambiará, pero la primera seguiría siendo la misma.

El concepto central de las pruebas de hipótesis, sobre el que se construye todo lo demás, es el de distribución del muestreo . Es decir, cómo una estadística de la muestra (como la pendiente de la muestra) rebotará si un estudio por lo demás idéntico se realiza una y otra vez ad infinitum. (Para más referencias, he hablado de esto ici et ici .) Para realizar una inferencia estadística es necesario conocer tres cosas sobre la distribución muestral: su forma, su media y su desviación estándar (denominada error estándar). Dados algunos supuestos estándar, si los errores se distribuyen normalmente, la distribución muestral de la pendiente de un modelo de regresión se distribuirá normalmente, centrada en el valor verdadero, con un $SE=\frac{1}{\sqrt{N-1}}\sqrt{s^2/\Sigma(x_i-\bar x)^2}$ . (Si la varianza residual, $s^2$ se estima a partir de sus datos, la distribución muestral será $t_{df=N-(1+p)}$ , donde $N$ es el número de datos que tiene, y $p$ es el número de variables predictoras).

En la versión de Neyman-Pearson de las pruebas de hipótesis, tenemos un valor de referencia, o nulo, para una estadística de la muestra, y un valor alternativo. Por ejemplo, cuando se evalúa la relación entre dos variables, el valor nulo de la pendiente suele ser 0, porque eso significaría que no hay relación entre las variables, lo que suele ser una posibilidad importante a descartar para nuestra comprensión teórica de un tema. El valor alternativo puede ser cualquier cosa, puede ser un valor postulado por alguna teoría, o puede ser el valor más pequeño que a alguien le interese desde un punto de vista práctico, o puede ser otra cosa. Digamos que las hipótesis nula y alternativa sobre el valor verdadero de la pendiente de la relación entre $X$ et $Y$ en la población son 0 y 1, respectivamente. Estos números se refieren a una escala absoluta: no importa lo que se elija para $\alpha$ , $\beta$ / poder, $N$ etc., seguirán siendo los mismos. Si estipulamos algunos valores ( $\alpha=.05$ , $s^2=1$ , $\text{Var}(X)=1$ , & $N=10$ ), podemos calcular algunas cosas como el aspecto de las distribuciones muestrales bajo las hipótesis nula y alternativa, o la potencia que tendría la prueba.

Ahora bien, ¿cómo debemos decidir si rechazamos la hipótesis nula en esta situación? Hay al menos dos maneras: Podríamos comprobar si nuestro valor p es inferior a $\alpha$ o simplemente comprobar si nuestra beta es mayor que el valor numérico absoluto que corresponde a esos números en esta situación. Lo fundamental es darse cuenta de que lo primero es relativa a la distribución muestral bajo la hipótesis nula, pero esta última es una posición absoluta en la recta numérica. Si volvemos a calcular las distribuciones muestrales, pero con $N = 25$ En cuanto a los valores de la hipótesis nula, tendrían un aspecto diferente (es decir, tendrían desviaciones estándar más estrechas), pero esos valores definidos en relación con la distribución muestral de la hipótesis nula tendrían la misma relación con la prueba de la hipótesis nula, porque se definen así . Es decir, por ejemplo, el 2,5% superior de la distribución muestral nula seguiría comprendiendo el 2,5% del área total bajo la curva, pero esa línea se habría movido en relación con la escala numérica absoluta que hay debajo. Por otra parte, si sólo rechazamos la nulidad si nuestra beta estimada es mayor que el valor que hemos calculado anteriormente, cada vez sería menos probable rechazar la nulidad si mantenemos ese valor y aumentamos continuamente $N$ .

Considere la siguiente figura. El umbral alfa se define como el punto que delimita el 5% más exterior del área bajo la curva (aquí he mostrado sólo la cola superior, la cola inferior funcionaría igual). Cuando $N = 10$ Esto cae en $X = .735$ (dados los valores que hemos estipulado anteriormente). Cuando $N$ aumenta a $25$ el error estándar se reduce y la distribución muestral se hace más "estrecha". Como $\alpha = .05$ se define en relación con la distribución de muestreo, se desplaza junto con el resto de la distribución de muestreo. El valor correspondiente de la pendiente de la muestra se convierte en $.417$ . Si el umbral se hubiera mantenido en el mismo lugar en la escala absoluta ( $.735$ ), la tasa de falsos positivos habría descendido a $.00056$ .

Tenga en cuenta que este último enfoque de las pruebas de hipótesis, el de comparar el valor real observado de la pendiente de la muestra con un punto de corte fijo, no es en absoluto la forma en que se realizan las pruebas de hipótesis, pero creo que ésta es la base de su confusión.