Cruz de validación (generalización error) después de la selección del modelo

Question

Nota: Caso n>>p

Estoy leyendo Elementos de Aprendizaje Estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada( por ejemplo, la página 60, en la página 245). Específicamente, mi pregunta es cómo evaluar el modelo final (sin prueba) utilizando k-fold CV o bootstrapping cuando se ha realizado un modelo de búsqueda? Parece que en la mayoría de los casos (ML algoritmos sin incrustado de selección de función) habrá

1. Una selección de la función de paso
2. Una meta de la selección de parámetros paso (por ejemplo, el costo de parámetros en SVM).

Mis Preguntas:

1. He visto que la selección de la función de paso se puede hacer donde la selección de características se realiza en todo el conjunto de entrenamiento y se celebró un lado. Luego, utilizando k-fold CV, el algoritmo de selección de características se utiliza en cada pliegue (obtención de diferentes características, posiblemente, elegido cada vez) y el error promedio. A continuación, utilice la característica seleccionada usando todos los datos (que fueron dejadas de lado) para entrenar la final de la modalidad, pero uso el error de la validación cruzada como una estimación de la evolución futura de la modelo. ES ESTO CORRECTO?
2. Cuando usted está utilizando validación cruzada para seleccionar los parámetros del modelo, a continuación, cómo estimar el rendimiento del modelo después? ES EL MISMO PROCESO COMO #1 por ENCIMA O SE DEBE UTILIZAR ANIDADA CV COMO se MUESTRA EN la PÁGINA 54 (pdf) O ALGO MÁS?
3. Cuando usted está haciendo ambos pasos (función y ajuste de parámetros).....entonces, ¿qué hacer? complejo de bucles anidados?
4. Si usted tiene una separada mantenga fuera de la muestra, es la preocupación desaparece y puede utilizar la validación cruzada para seleccionar las funciones y los parámetros (sin preocuparse ya que su rendimiento estimación vendrá de fuera de juego)?

Muchas gracias a cualquiera que pueda aclarar esto! Lo siento por un prolijo pregunta, pero quería asegurarme de que me explicó la confusión puntos (muchos ;-)) Brian

Answer 1

La cosa clave a recordar es que para la validación cruzada para dar una (casi) imparcial, el rendimiento de la estimación de cada paso involucrado en el ajuste del modelo también debe ser realizada de manera independiente en cada pliegue de la cruz-procedimiento de validación. La mejor cosa a hacer es ver la selección de características, meta/hyper-parametrización y optimización de los parámetros, como parte integrante de ajuste del modelo y nunca uno de estos pasos sin hacer los otros dos.

La predisposición al optimismo que puede ser introducido por la salida de la receta puede ser sorprendentemente grande, como se demuestra por Cawley y Talbot, donde el sesgo introducido por un aparentemente benignos de salida es mayor que la diferencia en el rendimiento entre los diferentes clasificadores. Peor aún sesgada protocolos favorece a los malos de los modelos con más fuerza, ya que son más sensibles a la optimización de hyper-parámetros y por lo tanto son más propensos a la sobre-ajuste del modelo criterio de selección!

Respuestas a preguntas específicas:

El procedimiento en el paso 1 es válida porque la selección de características se realiza por separado en cada pliegue, así que lo que la validación cruzada es todo el procedimiento utilizado para el ajuste del modelo final. La validación cruzada estimación tendrá un ligero sesgo pesimista como el conjunto de datos para cada pliegue es ligeramente más pequeño que el de todo el conjunto de datos usado para el modelo final.

Para 2, como la validación cruzada se utiliza para seleccionar los parámetros del modelo, entonces usted necesita repetir este procedimiento de forma independiente en cada pliegue de la validación cruzada se utiliza para el desempeño de estimación, usted terminará con anidada de validación cruzada.

Para 3, esencialmente, sí que hay que hacer nested-anidada de validación cruzada. Esencialmente, usted necesita repetir en cada pliegue de la parte más externa de la validación cruzada (usado para la ejecución de estimación) todo lo que usted piensa hacer para encajar en el modelo final.

4 - sí, si se han separado de sujeción conjunto, luego de que le dará una estimación insesgada de rendimiento sin necesidad de un adicional de validación cruzada.

Answer 2

He estado haciendo una amplia validación cruzada análisis sobre un conjunto de datos que costo millones para adquirir, y no hay validación externa que se dispone. En este caso, he realizado una amplia anidada de la validación cruzada para garantizar la validez. He seleccionado las características y parámetros optimizados sólo a partir de los respectivos conjuntos de entrenamiento. Este es computacionalmente caro para grandes conjuntos de datos, pero es lo que tenía que hacer para mantener la validez. Sin embargo, hay complicaciones que vienen con él...por ejemplo, las diferentes características se seleccionan en cada conjunto de entrenamiento.

Así que mi respuesta es que en los casos donde no se tiene factible el acceso a un conjunto de datos externos, esta es una manera razonable para ir. Cuando usted tiene un conjunto de datos externos, prácticamente se puede ir a la ciudad sin embargo que usted desea en el principal conjunto de datos y, a continuación, probar una vez en el conjunto de datos externos.