¿Por qué es posible obtener un estadístico F significativo (p<.001) pero pruebas t de regresores no significativas?

Question

En una regresión lineal múltiple, ¿por qué es posible tener un estadístico F altamente significativo (p<.001) pero tener valores p muy altos en todas las pruebas t de los regresores?

En mi modelo, hay 10 regresores. Uno de ellos tiene un valor p de 0,1 y el resto supera el 0,9

---

Para tratar este problema, véase el pregunta de seguimiento .

Answer 1

Una palabra clave a buscar sería "colinealidad" o "multicolinealidad". Esto puede detectarse utilizando diagnósticos como Factores de inflación de la variación (VIFs) o métodos como los descritos en el libro de texto "Diagnóstico de regresión: Identificación de datos influyentes y fuentes de colinealidad" de Belsley, Kuh y Welsch. Los VIF son mucho más fáciles de entender, pero no pueden tratar con la colinealidad que implica el intercepto (es decir, predictores que son casi constantes por sí mismos o en una combinación lineal) - por el contrario, los diagnósticos de BKW son mucho menos intuitivos pero puede tratar la colinealidad que implica el intercepto.

Answer 2

La respuesta que se obtenga dependerá de la pregunta que se haga. Además de los puntos ya señalados, los valores F de los parámetros individuales y los valores F del modelo global responden a preguntas diferentes, por lo que obtienen respuestas distintas. He visto que esto ocurre incluso cuando los valores F individuales no están tan cerca de ser significativos, especialmente si el modelo tiene más de 2 o 3 IVs. No conozco ninguna manera de combinar los valores p individuales y obtener algo significativo, aunque puede haber una manera.

Answer 3

Otra cosa que hay que tener en cuenta es que las pruebas de los coeficientes individuales suponen que todos los demás predictores están en el modelo. En otras palabras, cada predictor no es significativo mientras todos los demás predictores estén en el modelo. Debe haber alguna interacción o interdependencia entre dos o más de sus predictores.

Como ha preguntado alguien más arriba, ¿cómo ha diagnosticado la falta de multicolinealidad?

Answer 4

Una forma de entender esto es la geometría de los mínimos cuadrados como sugiere @StasK.

Otra es darse cuenta de que significa que X está relacionado con Y cuando se controla por las otras variables, pero no por sí solo. Se dice que X se relaciona con único varianza en Y. Esto es correcto. La varianza única en Y, sin embargo, es diferente de la varianza total. Entonces, ¿qué varianza están eliminando las otras variables?

Sería de gran ayuda que nos dijera sus variables.