AIC o p-valor: ¿cuál elegir para la selección de modelos?

Question

Soy nuevo en esto de la R pero no estoy seguro de que modelo elegir.

1. Hice un regresión escalonada hacia delante seleccionando cada variable en función del AIC más bajo. Me encontré con 3 modelos que no estoy seguro de cuál es el "mejor".

   Model 1: Var1 (p=0.03) AIC=14.978
   Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC = 12.543
   Model 3: Var1 (p=0.04) + Var2 (p=0.04) + Var3 (p=0.06) AIC= -17.09

   Me inclino por el modelo nº 3 porque tiene el AIC más bajo (he oído que negativo está bien) y los valores p siguen siendo bastante bajos.

   He analizado 8 variables como predictores de la masa de crías y he descubierto que estas tres variables son los mejores predictores.

2. En mi siguiente paso adelante elegí el Modelo 2 porque aunque el AIC era ligeramente mayor los valores p eran todos menores. ¿Está de acuerdo en que este es el mejor?

   Model 1: Var1 (p=0.321) + Var2 (p=0.162) + Var3 (p=0.163) + Var4 (p=0.222)  AIC = 25.63
   Model 2: Var1 (p=0.131) + Var2 (p=0.009) + Var3 (p=0.0056)                  AIC = 26.518
   Model 3: Var1 (p=0.258) + Var2 (p=0.0254)                                   AIC = 36.905

¡Gracias!

Answer 1

Los valores p individuales pueden inducir a error. Si tiene variables colineales (con alta correlación), obtendrá valores p elevados. Esto no significa que las variables sean inútiles.

Como regla general rápida, seleccionar el modelo con el criterio AIC es mejor que fijarse en los valores p.

Una razón para no seleccionar el modelo con el AIC más bajo es cuando la relación variable/punto de datos es grande.

Tenga en cuenta que la selección del modelo y la precisión de la predicción son problemas algo distintos. Si tu objetivo es obtener predicciones precisas, te sugiero que realices una validación cruzada del modelo separando los datos en un conjunto de entrenamiento y otro de pruebas.

Un documento sobre la selección de variables: Conjuntos estocásticos por pasos para la selección de variables

Answer 2

El AIC es una medida de la bondad del ajuste que favorece un error residual menor en el modelo, pero penaliza la inclusión de más predictores y ayuda a evitar el sobreajuste. En su segundo conjunto de modelos, el modelo 1 (el que tiene el AIC más bajo) puede funcionar mejor cuando se utiliza para la predicción fuera de su conjunto de datos. Una posible explicación de por qué al añadir Var4 al modelo 2 se obtiene un AIC más bajo, pero valores p más altos, es que Var4 está algo correlacionado con Var1, 2 y 3. Por lo tanto, la interpretación del modelo 2 es más fácil. Por tanto, la interpretación del modelo 2 es más sencilla.

Answer 3

El AIC está motivado por la estimación del error de generalización (como el CP de Mallow, el BIC,...). Si desea que el modelo para las predicciones, mejor utilizar uno de estos criterios. Si quiere el modelo para explicar un fenómeno, utilice los p-valores.

Véase también ici .