La significación de los coeficientes de la regresión lineal: un t-test vs no significativo de la estadística F

Question

Yo soy el ajuste de un modelo de regresión lineal múltiple entre las 4 variables categóricas (con 4 niveles cada uno) y un número de salida. Mi conjunto de datos tiene 43 observaciones.

R me da el siguiente $p$-valores desde los $t$-test para cada coeficiente de la pendiente: $.15, .67, .27, .02$. Por lo tanto, el coeficiente de la 4ª predictor es significativa en $\alpha = .05$ nivel de confianza.

Por otro lado, R me da un $p$-valor de $F$-prueba de la hipótesis nula de que todos mis pendiente coeficientes son iguales a cero. Para mi conjunto de datos, esta $p$-valor es de $.11$.

Mi pregunta: ¿cómo debo interpretar estos resultados? Que $p$-valor debo usar y por qué? Es el coeficiente de la 4ª variable significativamente diferentes desde $0$ en la $\alpha = .05$ nivel de confianza?

He visto a una pregunta relacionada, $F$ y $t$ estadística en la regresión, pero no era una situación opuesta: alta $t$prueba $p$-valores y baja $F$prueba $p$-valor. Honestamente, no entiendo muy bien por qué necesitaríamos una $F$-prueba además de los $t$-prueba para ver si de regresión lineal de los coeficientes son significativamente distintos de cero.

Answer 1

Con respecto a @DimitriyV.Masterov, no estoy seguro de que la multicolinealidad es lo que está pasando aquí. Ciertamente podría ser, pero a partir de la información dada, yo no puedo concluir que, y no quiero empezar por ahí. Mi primera conjetura es que esto podría ser un problema de las comparaciones múltiples. Es decir, si usted ejecute las pruebas suficientes, algo va a mostrar, incluso si no hay nada allí.

Uno de los temas que me arpa es que el problema de las comparaciones múltiples es siempre discuten en términos de examinar muchas de las comparaciones por pares-por ejemplo, la ejecución de las pruebas t de cada emparejamiento de los niveles. (Para un tratamiento humorístico de comparaciones múltiples, mira aquí.) Esto deja a las personas con la impresión de que ese es el único lugar de este problema se muestra. Pero esto simplemente no es cierto: el problema de las comparaciones múltiples se muestra en todas partes. Por ejemplo, si ejecuta una regresión con 4 variables explicativas, los mismos problemas existen. En un experimento bien diseñado, IV pueden ser ortogonales, pero las personas de forma rutinaria preocuparse de Bonferroni correcciones en conjuntos de a-priori, contrastes ortogonales, y no pensar dos veces acerca de ANOVA. A mi juicio, este es inconsistente.

El global de la prueba de F es lo que se llama un "simultánea" de prueba. Esto se comprueba si todos los de su predictores no están relacionadas con la variable de respuesta. La simultánea de prueba proporciona una cierta protección contra el problema de las comparaciones múltiples sin tener que ir a la alimentación-la pérdida de Bonferroni ruta. Por desgracia, mi interpretación de lo que el informe es que tiene un nulo encontrar.

Varias cosas de las que actúan en contra de esta interpretación. En primer lugar, con sólo el 43 datos, es casi seguro que no tienen mucho poder. Es muy posible que exista un efecto real, pero simplemente no se puede resolver sin más datos. En segundo lugar, como tanto @andrea y @Dimitriy, me preocupo acerca de la idoneidad del tratamiento de 4 a nivel de las variables categóricas como numérico. Esto puede no ser apropiada, y puede tener cualquier número de efectos, incluyendo la disminución de su capacidad para detectar lo que realmente está allí. Por último, no estoy seguro de que las pruebas de significación es tan importante como la gente cree. Un $p$ de .11 es una especie de baja; ¿realmente hay algo allí? tal vez! quién sabe?--no hay una 'línea clara' en .05 que demarca efectos reales de la mera apariencia.

Answer 2

Me gustaría sugerir que este fenómeno (de no significativos general de la prueba a pesar de una importante cada variable) puede ser entendido como una especie de agregado de "enmascaramiento" y que a pesar de que posiblemente podría surgir de multicollinear variables explicativas, no es necesario hacer nada de esto. También resulta no ser debido a múltiples comparación de los ajustes. Por lo tanto, esta respuesta es la adición de algunas de las calificaciones a las respuestas que ya han aparecido, que por el contrario se sugiere que la multicolinealidad o múltiples comparaciones deben ser vistos como los culpables.

Para establecer la verosimilitud de estas afirmaciones, vamos a generar una colección de perfectamente ortogonal de las variables-como no-alineados como sea posible--y una variable dependiente que explícitamente se determina únicamente por la primera de las explanands (además de una buena cantidad de errores aleatorios independientes de todo lo demás). En R esto se puede hacer (de forma reproducible, si usted desea experimento) como

set.seed(17)
p <- 5 # Number of explanatory variables
x <- as.matrix(do.call(expand.grid, lapply(as.list(1:p), function(i) c(-1,1))))
y <- x[,1] + rnorm(2^p, mean=0, sd=2)

Es importante que las variables explicativas son binarias; lo que importa es su ortogonalidad, que podemos comprobar para asegurarse de que el código funciona como se esperaba, lo cual puede hacerse mediante la inspección de sus correlaciones. De hecho, la matriz de correlación es muy interesante: el pequeño coeficientes sugieren y tiene poco que ver con ninguna de las variables a excepción de la primera (que es por diseño) y la diagonal ceros confirmar la ortogonalidad de las variables explicativas:

> cor(cbind(x,y))
     Var1  Var2  Var3   Var4  Var5      y
Var1 1.00 0.000 0.000  0.000  0.00  0.486
Var2 0.00 1.000 0.000  0.000  0.00  0.088
Var3 0.00 0.000 1.000  0.000  0.00  0.044
Var4 0.00 0.000 0.000  1.000  0.00 -0.014
Var5 0.00 0.000 0.000  0.000  1.00 -0.167
y    0.49 0.088 0.044 -0.014 -0.17  1.000

Vamos a ejecutar una serie de regresiones, utilizando sólo la primera variable, a continuación, los dos primeros, y así sucesivamente. Por razones de brevedad y fácil comparación, en cada uno de ellos me muestran sólo la línea para la primera variable y la general de la prueba F:

>temp <- sapply(1:p, function(i) print(summary(lm(y ~ x[, 1:i]))))

#              Estimate Std. Error t value Pr(>|t|)   
1  x[, 1:i]       0.898      0.294    3.05   0.0048 **
F-statistic: 9.29 on 1 and 30 DF,  p-value: 0.00478 

2  x[, 1:i]Var1    0.898      0.298    3.01   0.0053 **
F-statistic: 4.68 on 2 and 29 DF,  p-value: 0.0173 

3  x[, 1:i]Var1   0.8975     0.3029    2.96   0.0062 **
F-statistic: 3.05 on 3 and 28 DF,  p-value: 0.0451 

4  x[, 1:i]Var1   0.8975     0.3084    2.91   0.0072 **
F-statistic: 2.21 on 4 and 27 DF,  p-value: 0.095 

5  x[, 1:i]Var1   0.8975     0.3084    2.91   0.0073 **
F-statistic: 1.96 on 5 and 26 DF,  p-value: 0.118

Mira cómo (a) el significado de la primera variable apenas cambios, (a') la primera variable es significativa (p < .05), incluso cuando el ajuste para comparaciones múltiples (por ejemplo, aplicar la corrección de Bonferroni multiplicando el valor nominal valor de p por el número de variables explicativas), (b) el coeficiente de la primera variable apenas cambios, pero (c) la importancia global que crece de manera exponencial, de forma rápida de inflar a un no-significativo.

Yo interpreto esto como una demostración de que , incluyendo las variables explicativas que son en gran medida independientes de la variable dependiente puede "enmascarar" el general p-valor de la regresión. Cuando las nuevas variables son ortogonales a las existentes y a la variable dependiente, que no va a cambiar el individuo p-valores. (Los pequeños cambios que se ven aquí son porque el error aleatorio añadido a y es, por accidente, un poco correlacionada con todas las demás variables). Una lección de esto es que la parsimonia es valioso: utilizando como pocas variables según sea necesario, pueden reforzar la importancia de los resultados.

Yo soy no diciendo que esto no es necesariamente ocurre para el conjunto de datos en la pregunta, acerca de la cual poco se ha divulgado. Pero el conocimiento de que este efecto de enmascaramiento puede suceder debe informar a nuestra interpretación de los resultados así como de las estrategias para la selección de variables y construcción de modelos.

Answer 3

Con frecuencia esto ocurra cuando usted tiene un alto grado de colinealidad entre las variables explicativas. El ANOVA F es un conjunto de prueba de que todos los regresores son conjuntamente informativa. Cuando el Xs contienen información similar, el modelo puede atribuir el poder explicativo de una variable o de otra, pero su combinación puede explicar gran parte de la variación en la variable de respuesta.

También, el hecho de que parece ser el tratamiento de usted variables categóricas como si fueran continua puede ser problemático. Usted está explícitamente la imposición de restricciones, como golpes de $x_{1}$ de 1 a 2 tiene el mismo efecto en $y$ como saltos de 3 a 4. En algún momento del que OK, pero a menudo no lo es.