La comprensión de arranque para la validación y selección de modelo

Question

Creo entender cómo los fundamentos de arranque de obra, pero no estoy seguro de entender cómo puedo utilizar el arranque de selección del modelo o para evitar el sobreajuste.

Para la selección del modelo, por ejemplo, que acaba de elegir el modelo que produce el menor error (tal vez varianza?) a través de sus muestras bootstrap?

Hay textos que hablan de cómo utilizar el arranque de selección del modelo o de la validación?

EDIT: Ver este hilo, y la respuesta por @mark999 para más contexto detrás de esta pregunta.

Answer 1

Primero usted tiene que decidir si usted realmente necesita de selección de modelo, o modelo. En la mayoría de situaciones, dependiendo de la dimensionalidad, la colocación de una global y flexible modelo es el preferido.

El bootstrap es una gran manera de estimar el rendimiento de un modelo. La cosa más simple para la estimación de la varianza. Más a su punto original, el bootstrap puede estimar el probable comportamiento futuro de un determinado procedimiento de modelado, en los nuevos datos, no se han dado cuenta.

Si el uso de remuestreo (bootstrap o validación cruzada), para elegir el modelo de parámetros de ajuste y para estimar el modelo, tendrá un doble bootstrap o anidada de validación cruzada.

En general, el bootstrap requiere un menor número de modelo se ajusta (a menudo alrededor de 300) de validación cruzada (10-fold cross-validation debe ser repetido de 50-100 veces para la estabilidad).

Algunos estudios de simulación pueden ser encontrados en la http://biostat.mc.vanderbilt.edu/rms

Answer 2

Considere el uso de bootstrap para el modelo de promedio.

El documento a continuación podrían ayudar, como se compara un bootstrap modelo de abordaje promedio (el más comúnmente utilizado?) Bayesiano de modelado de promedio, y establece una receta para realizar el modelo de promedio.

Bootstrap modelo promediado en el tiempo de la serie de estudios de la materia particulada en el aire la contaminación y la mortalidad