La validación cruzada mal uso (informes de rendimiento para el mejor hyperparameter valor)

Question

Recientemente me he encontrado un documento en el que propone la utilización de una k-NN clasificador en un conjunto específico de datos. Los autores utilizaron todos los datos de las muestras para realizar la k-fold cross validation para diferentes k valores y el informe de validación cruzada de los resultados de las mejores hyperparameter de configuración.

A mi entender, este resultado es parcial, y que debería haber guardado por separado un conjunto de pruebas para obtener una precisión de la estimación de las muestras no se utiliza para realizar hyperparameter de optimización.

Estoy en lo cierto? Puede proporcionar algunas referencias (preferentemente trabajos de investigación) que describen este uso indebido de la validación cruzada?

Answer 1

Sí, hay problemas con el informe de k veces la CV de los resultados. Usted podría utilizar por ejemplo los siguientes tres publicaciones para su propósito (a pesar de que hay más por ahí, por supuesto) de la gente hacia la dirección correcta:

• Varma & Simon (2006). "El sesgo en la estimación del error cuando se utiliza la validación cruzada para el modelo de selección." BMC Bioinformatics, 7: 91

• Cawley & Talbot (2010). "En Más de ajuste en el Modelo de Selección y Posterior Sesgo de Selección en la Evaluación de Desempeño." Diario de Aprendizaje de la Máquina de la Investigación, 11: 2079-2107

• Bengio Y Grandvalet (2004). "No Imparcial Estimador de la Varianza de la $K$-Fold Cross-Validation." Diario de Aprendizaje de la Máquina de la Investigación, 5: 1089-1105

Personalmente me gusta ya que a tratar de exponer las cuestiones más en inglés que en Matemáticas.