¿Es significativa una variable en un modelo de regresión lineal?

Question

Tengo un modelo de regresión lineal con las observaciones de la muestra y la variable y quiero saber:

1. Si una variable específica es lo suficientemente significativa como para seguir incluyéndola en el modelo.
2. Si se debe incluir otra variable (con observaciones) en el modelo.

¿Qué estadísticas pueden ayudarme? ¿Cómo puedo obtenerlas de la manera más eficiente?

Answer 1

Secundo el comentario de Rob. Una alternativa cada vez más preferida es incluir todas sus variables y encogerlas hacia 0. Véase Tibshirani, R. (1996). Regression shrinkage and selection via the lasso.

http://www-stat.stanford.edu/~tibs/lasso/lasso.pdf

Answer 2

También me gusta la respuesta de Rob. Y, si resulta que usas SAS en lugar de R, puedes usar PROC GLMSELECT para modelos que se harían con PROC GLM, aunque también funciona bien para algunos otros modelos. Véase

Flom y Cassell "Detener el paso a paso: Por qué los métodos de selección por pasos son malos y qué deberías usar" presentado en varios grupos, el más reciente, NESUG 2009

Answer 3

La significación estadística no suele ser una buena base para determinar si una variable debe incluirse en un modelo. Las pruebas estadísticas se diseñaron para probar hipótesis, no para seleccionar variables. Sé que en muchos libros de texto se habla de la selección de variables mediante pruebas estadísticas, pero en general es un mal enfoque. Véase el libro de Harrell Estrategias de modelización de la regresión para conocer algunas de las razones. Hoy en día, se suele preferir la selección de variables basada en el AIC (o algo similar).

Answer 4

Para la parte 1, se busca el Prueba F . Calcule su suma residual de cuadrados de cada ajuste del modelo y calcule un estadístico F, que puede utilizar para encontrar valores p a partir de una distribución F o de alguna otra distribución nula que genere usted mismo.

Answer 5

Otro voto para la respuesta de Rob.

También hay algunas ideas interesantes en la literatura sobre la "importancia relativa". Este trabajo desarrolla métodos que buscan determinar cuánta importancia está asociada a cada uno de un número de predictores candidatos. Existen métodos bayesianos y frecuentistas. Consulte el paquete "relaimpo" en R para ver las citas y el código.