¿Cuándo son aplicables los resultados de Shao sobre la validación cruzada leave-one-out?

Question

En su documento Selección de modelos lineales mediante validación cruzada Jun Shao muestra que para el problema de la selección de variables en la regresión lineal multivariante, el método de validación cruzada leave-one-out (LOOCV) es "asintóticamente inconsistente". En pocas palabras, tiende a seleccionar modelos con demasiadas variables. En un estudio de simulación, Shao demuestra que, incluso con tan sólo 40 observaciones, LOOCV puede obtener peores resultados que otras técnicas de validación cruzada.

Este artículo es algo controvertido y algo ignorado (10 años después de su publicación, mis colegas de quimiometría nunca habían oído hablar de él y utilizaban alegremente LOOCV para la selección de variables...). También existe la creencia (yo soy culpable de ello) de que sus resultados van un poco más allá de su limitado alcance original.

La pregunta es: ¿hasta dónde llegan estos resultados? ¿Son aplicables a los siguientes problemas?

1. ¿Selección de variables para regresión logística/GLM?
2. ¿Selección de variables para la clasificación Fisher LDA?
3. ¿Selección de variables mediante SVM con espacio de núcleo finito (o infinito)?
4. ¿Comparación de modelos de clasificación, por ejemplo SVM con diferentes núcleos?
5. Comparación de modelos en regresión lineal, digamos ¿comparar MLR con Ridge Regression?
6. etc.

Answer 1

Yo diría: en todas partes, pero no he visto una prueba estricta de ello. La intuición subyacente es que al hacer CV hay que mantener un equilibrio entre entrenar lo suficiente para construir un modelo sensato y probar lo suficiente para que sea un punto de referencia sensato.
Cuando se trata de miles de objetos bastante homogéneos, elegir uno conlleva el riesgo de que sea bastante similar a otro objeto que se dejó en el conjunto, y entonces los resultados serían demasiado optimistas.
Por otra parte, en caso de pocos objetos no habrá diferencia vital entre LOO y k-fold; $10/10$ es sólo $1$ y no podemos hacer nada con él.

Answer 2

1) La respuesta de @ars menciona Yang (2005), "¿Pueden compartirse los puntos fuertes del AIC y el BIC?" . En términos generales, parece que no se puede tener un criterio de selección de modelos que consiga a la vez coherencia (tender a elegir el modelo correcto, si es que existe un modelo correcto y está entre los modelos considerados) y eficacia (conseguir el error cuadrático medio más bajo de media entre los modelos elegidos). Si tiende a elegir el modelo correcto por término medio, a veces obtendrá modelos ligeramente demasiado pequeños... pero al omitir a menudo un predictor real, le irá peor en términos de MSE que a alguien que siempre incluye algunos predictores espurios.

Así que, como ya se ha dicho, si le importa más hacer buenas predicciones que obtener exactamente las variables correctas, puede seguir utilizando LOOCV o AIC.

2) Pero también quería señalar otros dos de sus trabajos: Yang (2006) "Comparación de métodos de aprendizaje para la clasificación" y Yang (2007) "Consistencia de la validación cruzada para comparar procedimientos de regresión" . Estos trabajos demuestran que no es necesario que la proporción de datos de entrenamiento/prueba se reduzca a 0 si se comparan modelos que convergen a un ritmo más lento que los modelos lineales.

Así que, para responder a sus preguntas originales 1-6 más directamente: Los resultados de Shao se aplican cuando se comparan modelos lineales entre sí. Ya sea para la regresión o clasificación, si usted está comparando los modelos no paramétricos que convergen a un ritmo más lento (o incluso la comparación de un modelo lineal a un modelo no paramétrico), puede utilizar la mayor parte de los datos para la formación y todavía tienen modelo de selección coherente CV ... pero aún así, Yang sugiere que LOOCV es demasiado extrema.

Answer 3

Creo que Shao artículo se aplica más eficazmente a situaciones en las que una persona intenta eliminar predictores de un modelo (ya sea lineal o no lineal, como el aprendizaje automático, etc.), y recomienda utilizar Monte Carlo CV ( MCCV ) en este caso.

Por otro lado, si no le preocupa el tamaño (número de factores/predictores) de su modelo, LOOCV podría ser un método más corto y algo más intuitivo, que es probablemente la razón por la que se utiliza y acepta tan ampliamente.