Compendio de la cruz-técnicas de validación

Question

Me pregunto si alguien sabe de un compendio de la cruz-técnicas de validación con una discusión de las diferencias entre ellos y una guía sobre cuándo utilizar cada uno de ellos. Wikipedia tiene una lista de las técnicas más comunes, pero tengo la curiosidad de si existen otras técnicas, y si hay alguna de las taxonomías para ellos.

Por ejemplo, sólo ejecute en una biblioteca que me permite elegir una de las siguientes estrategias:

• Mantenga
• Bootstrap
• K validación Cruzada
• Dejar uno fuera
• Estratificado De La Validación Cruzada
• Equilibrada Estratificado De La Validación Cruzada
• Estratificado a cabo el
• Estratificado Bootstrap

y estoy tratando de entender lo que estratificado y equilibrado de la media en el arranque, mantenga o CV.

También podemos convertir este post en una wiki de la comunidad, si la gente quiere ,y recoger una discusión de las técnicas o taxonomías aquí.

Answer 1

Usted puede agregar a la lista:

• Se repite-validación cruzada
• Dejar el grupo a cabo la validación cruzada
• Fuera de la bolsa (en el que el azar de los bosques y otros modelos de bolsas)
• El 632+ bootstrap

Realmente no tengo un montón de consejos en cuanto a el uso de estas técnicas o cuando el uso de ellos. Usted puede utilizar el símbolo de intercalación paquete en R para comparar CV, Arranque, Boot632, leave-one-out, leave-grupo -, y fuera de la bolsa de validación cruzada.

En general, yo suelo usar el boostrap porque es menos intensas que repite k veces CV, o dejar-uno-fuera de CV. Boot632 es mi algoritmo de elección, ya que no requiere mucho más el cálculo de la secuencia de arranque, y ha demostrado ser mejor que el de validación cruzada de la bootstap en ciertas situaciones.

Yo casi siempre uso fuera de la bolsa de error de las estimaciones para los bosques aleatorios, en lugar de la validación cruzada. Fuera de la bolsa de errores son generalmente imparcial, y bosques aleatorios tener el tiempo suficiente para calcular tal y como es.

Answer 2

K-fold cross-validation (CV) de forma aleatoria rompe sus datos en K particiones y que a su vez, tienen uno de esos K partes como un caso de prueba, y a tanto alzado de los otros K-1 piezas juntas como los datos de su entrenamiento. Dejar Uno Fuera (LOO) es el caso especial donde usted tome su N elementos de datos y hacer N veces CV. En cierto sentido, sostiene que es otro caso especial, donde usted sólo elegir uno de los K pliegues como prueba y no rotar a través de todos los K pliegues.

Que yo sepa, 10 veces CV es casi de rigor, ya que utiliza sus datos de manera eficiente y también ayuda a evitar la mala suerte de opciones de partición. Aguantar no hacer eficiente el uso de sus datos, y LOO no es tan robusto (o algo así), pero 10-ish veces es la correcta.

Si usted sabe que sus datos contiene más de una categoría, y una o más categorías son mucho más pequeños que el resto, algunos de los K al azar particiones incluso podría no contener ninguna de las categorías pequeñas, lo que sería malo. Para asegurarse de que cada partición es razonablemente representativa, se utiliza la estratificación: romper sus datos en las categorías y, a continuación, crear particiones aleatorias eligiendo de forma aleatoria y proporcionalmente de cada categoría.

Todas estas variaciones en la K-fold CV elegir a partir de sus datos, sin reemplazo. El bootstrap elige de datos con la sustitución, por lo que el mismo dato puede ser incluido varias veces y algunos datos podrían no estar incluidos en todos. (Cada una "partición" también tiene N elementos, a diferencia de K-fold, en el que cada partición tendrá N/K elementos.)

(Voy a tener que admitir que no sé exactamente cómo el bootstrap sería utilizado en la CV, aunque. El principio de la prueba y el CV es asegurarse de que usted no prueba en los datos que se entrenados, para que pueda obtener una idea más realista de cómo su técnica + coeficientes podría funcionar en el mundo real.)

EDIT: se ha Sustituido "Hold Out no es eficiente" con "Hold Out no hacer eficiente el uso de sus datos" para ayudar a clarificar, por los comentarios.

Answer 3

He encontrado una de las referencias relacionados en el artículo de la Wikipedia es bastante útil

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.48.529&rep=rep1&type=pdf

"Un estudio de validación cruzada y bootstrap para la precisión de la estimación y selección de modelos", Ron Kohavi, IJCAI95

Contiene una comparación empírica para un subconjunto de CV técnicas. El tl;dr versión es básicamente "el uso de 10 veces CV".