Tenemos un pequeño conjunto de datos (alrededor de 250 muestras * 100 características) en la que queremos construir un clasificador binario después de seleccionar el mejor subconjunto. Digamos que tenemos la partición de los datos en:
El entrenamiento, Validación y Prueba
Para la selección de características, se aplica una envoltura modelo basado en la selección de características para optimizar el desempeño de los clasificadores de X, Y y Z, por separado. En este pre-procesamiento de paso, utilizamos los datos de entrenamiento para el entrenamiento de los clasificadores y validación de datos para la evaluación de cada candidato en función de subconjunto.
Al final, queremos comparar los diferentes clasificadores (X, y, Z). Por supuesto, podemos usar la prueba de la parte de los datos para tener una comparación justa y evaluación. Sin embargo, en mi caso, los datos de la prueba sería muy pequeño (alrededor de 10 a 20 muestras) y por lo tanto, quiero solicitar la validación cruzada para la evaluación de los modelos.
La distribución de los ejemplos positivos y negativos es muy poco equilibrada (8:2). Así, una de validación cruzada podía faltar-nos conducen en la evaluación del rendimiento. Para superar esto, se planea tener la prueba de la porción (de 10 a 20 muestras) como un segundo método de comparación y validación de la validación cruzada.
En resumen, estamos en la partición de los datos en el entrenamiento, validación y prueba. El entrenamiento y la validación de las piezas se utilizan para la selección de características. Entonces, la validación cruzada de los mismos datos se aplica a la estimación de los modelos. Finalmente, la prueba se utiliza para validar la validación cruzada, dado el desequilibrio de los datos.
La pregunta es: Si vamos a utilizar los mismos datos (formación+validación) utilizados en la selección de las características de optimizar el rendimiento de los clasificadores de X, Y y Z, podemos aplicar la validación cruzada de los mismos datos (formación+de validación) se utiliza para la selección de características para medir el rendimiento final y comparar los clasificadores?
No sé si esta opción podría conducir a una visión sesgada de la cruz-la validación de la medida y el resultado de las naciones unidas justificado a la comparación o no.