Validación cruzada y los parámetros de sintonización

Question

¿Alguien puede decirme qué es exactamente una validación cruzada análisis da como resultado? Es simplemente el promedio de la exactitud o no de dar cualquier modelo con los parámetros de sintonía?

Porque, he oído en alguna parte que la validación cruzada se utiliza para el parámetro de ajuste.

Answer 1

La validación cruzada da una medida de la precisión de la muestra por un promedio de más de varias particiones aleatorias de los datos de entrenamiento y prueba de muestras. Se utiliza a menudo para el parámetro de sintonización haciendo de validación cruzada para varios (o muchos) de los posibles valores de un parámetro y elegir el valor del parámetro que da el menor de validación cruzada promedio de error.

Por lo que el proceso en sí no darle un modelo o estimaciones de los parámetros, pero se puede utilizar para ayudar a elegir entre alternativas.

Answer 2

Para agregar a Jonathan por su respuesta.

Sin embargo, si el uso de la validación cruzada para el parámetro de sintonización, las muestras en el hecho de ser parte de su modelo. Por lo que necesita de otra muestra independiente para medir correctamente el modelo final.

Utilizados para medir el desempeño del modelo, validación cruzada puede medir más que el promedio de la precisión:
Una segunda cosa que usted puede medir con validación cruzada es el modelo de estabilidad con respecto a la evolución de los datos de entrenamiento: validación cruzada construye un montón de "sustituto" de modelos que son entrenados con un poco diferentes conjuntos de entrenamiento. Si los modelos son estables, todas estas sustituto de los modelos son equivalentes, si la capacitación es inestable, el sustituto de los modelos varían mucho. Se puede cuantificar este "varía mucho," como por ejemplo la varianza de las predicciones de los diferentes sustituto de los modelos para la misma muestra (en iterada/repetido validación cruzada), o por ejemplo, como la varianza de los sustitutos de los modelos de parámetros.