3 votos

El mejor modelo de una selección de modelos basada en el AICc en una muestra muy pequeña tiene un elevado número de predictores: ¿tiene algún sentido?

Estoy trabajando con una muestra muy pequeña (N=14) y estoy utilizando el AICc para identificar el modelo más parsimonioso utilizando un gran número de posibles predictores. Inesperadamente, el mejor modelo tiene seis predictores. Tiendo a creer que se trata de un modelo sobreajustado, aunque el AICc debería penalizar los predictores adicionales y debería ser adecuado para muestras menores de N=40.

¿Debo establecer un número máximo de predictores a priori para considerar en la selección del modelo o debo confiar en el AICc?

Muchas gracias

3voto

dan90266 Puntos 609

Sólo hay una buena razón posible para ello: que la relación señal/ruido de sus datos sea muy alta, es decir, que el verdadero $R^2$ es intrínsecamente alta. Pero lo más probable es que haya utilizado el AIC para comparar más de 3 modelos posibles y sólo esté viendo ruido. El AIC es un replanteamiento de $P$ -y como tal tiene todos los problemas de $P$ -Selección de variables por pasos guiada por valores. El AIC sólo utiliza un mejor (es decir, mayor) $\alpha$ de 0,05. En general, si tiene más de 3 o 4 modelos preespecificados para comparar, el AIC tiene pocas probabilidades de seleccionar el modelo "correcto".

En la mayoría de los conjuntos de datos (aunque el suyo puede ser demasiado pequeño) puede comprobar todo esto haciendo un bootstrap de todo el proceso de selección de variables.

El AIC es más útil cuando se realiza una evaluación muy estructurada de un gran grupo de parámetros, por ejemplo, "tengo un modelo de 5 variables y hay otras 7 variables que no se consideran relevantes en la literatura. ¿Mejoraré el rendimiento del modelo añadiendo las 7?". O "Tengo un modelo aditivo lineal en 6 predictores. ¿Cuál es el valor de expandirlos todos en splines cúbicos restringidos para permitir la no linealidad?".

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X