Interpretando la salida de drop1 en R

Question

En R, el comando drop1 produce algo ordenado.
Estos dos comandos deberían darte algún resultado:
example(step)#-> swiss
drop1(lm1, test="F")

El mío se ve así:

> drop1(lm1, test="F")
Eliminación de términos únicos

Modelo:
Fertilidad ~ Agricultura + Examen + Educación + Católica + 
    Mortalidad_Infantil
                 Df Suma_de_Cuad    RSS    AIC F valor     Pr(F)    
                     2105.0 190.69                      
Agricultura       1    307.72 2412.8 195.10  5.9934  0.018727 *  
Examen            1     53.03 2158.1 189.86  1.0328  0.315462    
Educación         1   1162.56 3267.6 209.36 22.6432 2.431e-05 ***
Católica          1    447.71 2552.8 197.75  8.7200  0.005190 ** 
Mortalidad_Infantil  1    408.75 2513.8 197.03  7.9612  0.007336 ** 
---
Códigos de significancia:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

¿Qué significa todo esto? Supongo que las "estrellas" ayudan a decidir qué variables de entrada se deben mantener. Viendo la salida anterior, ¿quiero desechar la variable "Examen" y enfocarme en la variable "Educación", es correcta esta interpretación?

Además, el valor de AIC, ¿menor es mejor, verdad?

Ed. Por favor, toma nota de la respuesta de la Comunidad Wiki a continuación y agrega lo que creas conveniente para clarificar esta salida.

Answer 1

drop1 te proporciona una comparación de modelos basada en el criterio AIC, y al usar la opción test="F" agregas un "ANOVA de tipo II" a él, como se explica en los archivos de ayuda. Si solo tienes variables continuas, esta tabla es exactamente equivalente a summary(lm1), ya que los valores F son simplemente los valores T al cuadrado. Los valores p son exactamente los mismos.

Entonces, ¿qué hacer con ella? Interprétala de la siguiente manera: expresa de alguna manera si el modelo sin ese término es "significativamente" diferente al modelo con ese término. Ten en cuenta las "" alrededor de significativamente, ya que la significación aquí no se puede interpretar como la mayoría de la gente piensa. (problema de múltiples pruebas y todo...)

Y en cuanto al AIC: parece mejor cuanto más bajo sea. El AIC es un valor que va para el modelo, no para la variable. Por lo tanto, el mejor modelo de esa salida sería el que no incluya el examen de la variable.

Ten en cuenta que el cálculo tanto del AIC como del estadístico F es diferente de las funciones de R AIC(lm1) y anova(lm1) respectivamente. Para AIC(), esa información se encuentra en las páginas de ayuda de extractAIC(). Para la función anova(), es bastante obvio que las sumas de cuadrados de tipo I y tipo II no son iguales.

No quiero ser grosero, pero si no comprendes lo que se explica en los archivos de ayuda, no deberías estar usando la función en primer lugar. La regresión paso a paso es increíblemente complicada, poniendo en peligro tus valores p de manera profunda. Una vez más, no te bases en los valores p. Tu modelo debería reflejar tu hipótesis y no al revés.

Answer 2

Para referencia, estos son los valores que se incluyen en la tabla:
Df se refiere a Grados de libertad, "el número de grados de libertad es el número de valores en el cálculo final de una estadística que son libres de variar."

La columna de Sum of Sq se refiere a la suma de cuadrados (o más precisamente la suma de desviaciones al cuadrado). En resumen, esto es una medida de cuánto se desvía cada valor individual de la media general de esos valores.

RSS es la Suma de Cuadrados Residual. Se trata de una medida de cuánto varía el valor predicho de la variable dependiente (o de salida) respecto al valor real para cada punto de datos en el conjunto (o más coloquialmente: cada "línea" en la tabla de datos).

AIC es el Criterio de Información de Akaike que generalmente se considera "demasiado complejo para explicar", pero en resumen, es una medida de la bondad de ajuste de un modelo estadístico estimado. Si necesita más detalles, tendrá que recurrir a árboles muertos con palabras en ellos (es decir, libros). O Wikipedia y los recursos allí.

El valor F se utiliza para realizar lo que se llama una prueba F y a partir de este se deriva el valor Pr(F), que describe qué tan probable (o probable = Pr) es ese valor F. Un valor Pr(F) cercano a cero (indicado por ***) es indicativo de una variable de entrada que de alguna manera es importante de incluir en un buen modelo, es decir, un modelo que no la incluye es "significativamente" diferente al que sí lo hace.

Todos estos valores son, en el contexto del comando drop1, calculados para comparar el modelo general (incluyendo todas las variables de entrada) con el modelo resultante de eliminar esa variable específica en cada línea de la tabla de salida.

Ahora, si esto se puede mejorar, siéntase libre de agregar o aclarar cualquier problema. Mi objetivo es solo aclarar y proporcionar una mejor referencia de "búsqueda inversa" a partir de la salida de un comando R al significado real de este.