Me preocupa que la exactitud de la predicción se calcula entre cada pliegue son dependientes debido a la coincidencia sustancial entre los conjuntos de entrenamiento (aunque la predicción conjuntos son independientes).
En mi humilde opinión, la superposición entre los conjuntos de entrenamiento no necesita ser un gran motivo de preocupación. Que es, por supuesto, es importante comprobar si los modelos son estables. Estable implica que la validación cruzada sustituto de los modelos de predicciones son equivalentes (es decir, un caso independiente obtendría el mismo predicción por todos los modelos), y en el hecho de la cruz validaton por lo general afirma la equivalencia no sólo entre el sustituto de los modelos, sino también para el modelo entrenado en todos los casos.
Por lo que esta dependencia es más bien una consecuencia de lo que queremos tener.
Esto se aplica a la típica pregunta: si quiero entrenar un modelo en estos datos, ¿cuáles son los intervalos de predicción? Si la pregunta es, en cambio, si entrenamos un modelo en $n$ de los casos de esta población, ¿cuáles son los intervalos de predicción?, no se puede responder, porque que se superponen en los conjuntos de entrenamiento significa subestimar la varianza por una cantidad desconocida.
¿Cuáles son las consecuencias en comparación con la prueba con una prueba independiente?
- Cruz de validación de las estimaciones pueden tener mayor varianza de las pruebas de la final, con un modelo independiente de la prueba de conjunto del mismo tamaño, ya que además de la varianza debida a los casos de prueba que nos enfrentamos varianza debido a la inestabilidad de los sustitutos de los modelos.
Sin embargo, si los modelos son estables, esta variación es pequeño o insignificante. Además de que este tipo de estabilidad puede ser medido.
Lo que puede que no se mide es el grado de representatividad de todo el conjunto de datos es en comparación con la población a la que estaba dibujado. Esto incluye parte de la tendencia del modelo final (sin embargo, también una pequeña independiente de la prueba de conjunto puede tener un sesgo) y significa que la correspondiente varianza no puede ser estimada a partir de la validación cruzada.
-
En la aplicación práctica (rendimiento de modelo formado en estos datos), la predicción del intervalo de cálculo se enfrentan a cuestiones que, en mi humilde opinión son más importantes que lo que parte de la varianza de la validación cruzada no puede detectar: por ejemplo,
- validación cruzada no puede probar el rendimiento para los casos que son independientes en el tiempo (predicciones suelen ser necesarios para los casos que se miden en el futuro)
- los datos pueden contener desconocido clusters, y el rendimiento del clúster puede ser importante. Agrupado de los datos está en priciple algo que usted puede tener en cuenta en la validación cruzada, pero lo que necesita saber acerca de la agrupación.
Esto es más que solo una validación cruzada vs independiente del conjunto de pruebas cosa: básicamente, usted necesita para sentarse y diseño de un estudio de validación, de lo contrario hay un gran riesgo de que el "independiente" de prueba no es del todo independiente. Una vez hecho esto, uno puede pensar acerca de los factores que son de importancia práctica y que puede ser descuidado. Usted puede llegar a la conclusión de que después de un examen detallado, de la cruz valiation es bastante buena y lo más sensato porque la validación independiente sería demasiado costoso en comparación con la posible ganancia de información.
Todas las cosas juntas, yo uso la fórmula habitual para la desviación estándar, se $s_{CV}$ en analogía a $RMSE_{CV}$ y un informe en detalle la forma en que la prueba fue hecha.
