Elegir el mejor modelo entre diferentes "mejor" de los modelos de

Question

¿Cómo elegir un modelo de entre los diferentes modelos elegidos por diferentes métodos (por ejemplo, hacia atrás o hacia delante de selección)?

También lo que es un modelo parsimonioso?

Answer 1

Un modelo parsimonioso, es un modelo que logra un nivel deseado de explicación o predicción con el menor número de variables predictoras como sea posible.

Para el modelo de evaluación existen diferentes métodos, dependiendo de lo que usted quiere saber. En general hay dos maneras de evaluar un modelo Basado en predicciones y basada en la bondad de ajuste de los datos actuales. En el primer caso se quiere saber si el modelo predice adecuadamente los nuevos datos, en la segunda quieres saber si tu modelo adequatelly describe las relaciones en los datos actuales. Esas son dos cosas diferentes.

La evaluación basada en las predicciones

La mejor manera de evaluar los modelos utilizados para la predicción, es la validación cruzada. Muy brevemente, la corte de su conjunto de datos, por ejemplo. 10 piezas diferentes, el uso de las 9 de ellos para construir el modelo y predecir los resultados de la décima parte del conjunto de datos. Una simple diferencia de medias al cuadrado entre los valores observados y predichos dará una medida de la precisión de la predicción. Al repetir esto diez veces, se debe calcular la diferencia de medias al cuadrado más de diez iteraciones para llegar a un valor general, con una desviación estándar. Esto le permite a usted de nuevo para comparar dos modelos en sus exactitud de la predicción utilizando técnicas estadísticas estándar (t de student o ANOVA).

Una variante sobre el tema es la PRENSA en el criterio de Predicción de la Suma de los Cuadrados), que se define como

$\displaystyle\sum^{n}_{i=1} \left(Y_i - \hat{Y}_{i(-i)}\right)^2$

Donde $\hat{Y}_{i(-i)}$ es el valor de predicción para la i-ésima observación a través de un modelo basado en todas las observaciones menos el ith valor. Este criterio es especialmente útil si usted no tiene la cantidad de datos. En ese caso, la división de los datos como en la validación cruzada enfoque podría resultar en subconjuntos de datos que son demasiado pequeños para un ajuste estable.

La evaluación basada en la bondad de ajuste

Permítanme en primer lugar que este realmente varía en función del modelo de marco de utilizar. Por ejemplo, una probabilidad de relación de la prueba puede trabajar para Generalizada Aditivo Modelos Mixtos cuando se utiliza el clásico de gauss para los errores, pero es de sentido en el caso de la binomial variante.

En primer lugar tiene el más intuitivo de los métodos de comparación de modelos. Usted puede utilizar el Aikake Information Criterion (AIC) o el Criterio de Información Bayesiano (BIC) para comparar la bondad de ajuste para los dos modelos. Pero nada indica que ambos modelos muy diferentes.

Otra es la flor de Malva Cp criterio. Esto, en esencia, los cheques para el posible sesgo en el modelo, comparando el modelo con todos los submodelos (o de una cuidadosa selección de ellos). Ver también http://www.public.iastate.edu/~mervyn/stat401/Otros/mallows.pdf

Si los modelos que quiere comparar son modelos anidados (es decir, todos los predictores y las interacciones de los más parsimonioso modelo también se producen en el más completo modelo), puede utilizar formal de comparación en la forma de una prueba de razón de verosimilitud (o una de Chi-cuadrado o la prueba de F en los casos que corresponda, por ejemplo, al comparar lineal simple los modelos equipados con menos plazas). Esta prueba esencialmente controla si el extra predictores o interacciones realmente mejorar el modelo. Este criterio se utiliza a menudo en adelante o hacia atrás paso a paso los métodos.

Acerca de la selección del modelo automática

Tiene defensores y enemigos de este método. Yo personalmente no estoy a favor del modelo automático de selección, sobre todo cuando se trata de describir los modelos, y esto por varias razones:

• En cada modelo se debe verificar que se tratan de manera adecuada los factores de confusión. De hecho, muchos de los conjuntos de datos con variables que nunca se debe poner en un modelo al mismo tiempo. A menudo la gente se olvida de control para que.
• Selección del modelo automática es un método para crear hipótesis, no para ponerlos a prueba. Todos inferencia basada en modelos procedentes de modelo Automático de selección no es válida. No hay manera de cambiar eso.
• He visto muchos casos en donde a partir de un punto de partida diferente, una selección paso a paso devuelto a un modelo totalmente diferente. Estos métodos están lejos de ser estable.
• También es difícil para incorporar un decente regla, como las pruebas estadísticas para la comparación de dos modelos requieren los modelos anidados. Si por ejemplo el uso de AIC, BIC o de PRENSA, el punto de corte para cuando la diferencia es realmente importante es arbitrario elegido.

Así que, básicamente, veo más en la comparación de un conjunto de modelos elegidos de antemano. Si no se preocupan acerca de la evaluación estadística de la modelo y la prueba de hipótesis, se puede utilizar la validación cruzada para comparar la exactitud de predicción de los modelos.

Pero si usted está realmente después de la selección de variables con fines predictivos, es posible que desee echar un vistazo a otros métodos para la selección de variables, como las Máquinas de Vectores Soporte, Redes Neuronales, al Azar de los Bosques y los gustos. Estos son mucho más a menudo se utiliza por ejemplo en la medicina para saber que de los mil medido proteínas puede predecir adecuadamente si usted tiene cáncer o no. Sólo para dar un (famosa) ejemplo :

http://www.nature.com/nm/journal/v7/n6/abs/nm0601_673.html

http://www.springerlink.com/content/w68424066825vr3l/

Todos estos métodos tienen variantes de regresión para datos continuos así.

Answer 2

La parsimonia es su enemigo. La naturaleza no actúa parsimoneously, y los conjuntos de datos no tienen suficiente información para permitir al usuario elegir el "derecho" de las variables. No importa mucho cual sea el método que use o índice que se utiliza como una parada de la regla. Selección de variables sin la contracción es casi condenado. Sin embargo, limitada hacia atrás decreciente (con $\alpha=0.50$) a veces puede ser útil. Funciona simplemente porque no va a eliminar muchas variables.

Answer 3

El uso de hacia atrás o hacia delante de selección es una estrategia común, pero no uno que puedo recomendar. Los resultados de dicho modelo de construcción son equivocadas. Los p-valores son demasiado bajos, los coeficientes de sesgo de distancia de 0, y hay otros problemas relacionados.

Si usted debe hacer automático de selección de variables, recomendaría el uso de un sistema más moderno método, tales como el LAZO o LAR.

Escribí un SAS presentación en este, titulado "Parar el paso a paso: ¿por Qué paso a paso y Métodos Similares son Malos y lo que usted debe Usar"

Pero, si es posible, me gustaría evitar estos métodos automatizados por completo, y se basan en los conocimientos sobre el tema. Una idea es generar 10 más o menos razonable de los modelos, y compararlos basado en un criterio de información. @Nick Sabbe se enumeran varios de estos en su respuesta.

Answer 4

La respuesta a este gran medida va a depender de tu objetivo. Usted puede estar buscando estadísticamente significativas en los coeficientes, o puede estar fuera para evitar tantos missclassifications como sea posible a la hora de predecir el resultado de nuevas observaciones, o puede ser simplemente interesado en el modelo con menos falsos positivos; tal vez quiere que la curva que es 'más cercano' a los datos.

En cualquiera de los casos anteriores, necesitamos algún tipo de medida para lo que usted está buscando. Algunos populares de medidas con diferentes aplicaciones de las AUC, BIC, AIC, error residual,...

Calcular la medida que mejor se adapte a su objetivo para cada modelo y, a continuación, compare los 'scores' para cada modelo. Esto lleva a que el mejor modelo para su objetivo.

Algunas de estas medidas (por ejemplo, AIC) lugar un estrés adicional en el número distinto de cero de los coeficientes en el modelo, debido a que el uso de demasiados podría ser simplemente el sobreajuste de los datos (de modo que el modelo es inútil si el uso de los nuevos datos, y mucho menos para la población). Puede haber otras razones por la necesidad de un modelo para hold 'como poco como sea posible" variables, por ejemplo, si simplemente es costoso a medida de todos ellos para la predicción. La 'simplicidad' o 'pequeño número de variables en" un modelo es normalmente nos referimos como su parsimonia.

Así que, en resumen, un parsimoneous modelo es un 'simple' modelo, no teniendo en cuenta muchas variables.

Como sucede a menudo con este tipo de preguntas, me referiré a la excelente libro Elementos de Aprendizaje Estadístico para obtener más información sobre el tema y temas relacionados.