Validación cruzada: Prueba condicional error vs espera prueba de error

Question

Mi libro de texto en la validación cruzada es Elemento de Aprendizaje Estadístico (Hastie et. al., 2ª ed.). En las secciones 7.10.1 y 7.12, se habla de la diferencia entre la prueba condicional de error $E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau]$ y esperado de la prueba de error de $E_\tau [E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau]]$. Aquí $\tau$ es el conjunto de datos de entrenamiento, $L$ es la función de pérdida, $\hat{f}$ es el modelo. $E$ es la expectativa.

Se explicó que el CV sólo estimaciones de espera error de la prueba.

Mi pregunta es, ¿hay alguna razón por la que le importa la prueba condicional de error?

La única razón por la que pude pensar es que queremos responder a la pregunta " Si Dios pone n conjunto de datos en la tabla, pero sólo nos permiten tomar 1 casa para que se ajuste a nuestro modelo, que deberíamos elegir?'

Answer 1

Creo que puede ser malentendido condicional del error de la prueba. Esto puede ser debido a HFT no es consistente en su terminología, a veces de llamar a esta misma noción de "prueba error", "generalización de error", "error de predicción independiente de la prueba de conjunto", "true condicional de error", o "prueba-error".

Independientemente del nombre, es el promedio de error de que el modelo que se instala en un particular conjunto de entrenamiento $\tau$ incurriría cuando se aplica a ejemplos extraídos de la distribución de (X,Y) pares. Si usted pierde dinero cada vez que el modelo ajustado hace un error (o proporcional al error si estamos hablando de regresión), es el promedio de la cantidad de dinero que se pierde cada vez que usted utiliza el clasificador. Podría decirse que es la cosa más natural que la atención acerca de un modelo que ha equipado a un determinado conjunto de entrenamiento.

Uno que se hunde en, la verdadera pregunta es ¿por qué uno debe preocuparse acerca de la espera de la prueba de error! (HFT también llaman a esto "la espera del error de predicción".) Después de todo, es un promedio sobre todos los tipos de conjuntos de entrenamiento que usted está normalmente nunca va a llegar a utilizar. (Parece, por cierto, que HFT la intención de un promedio de más de conjuntos de entrenamiento de un tamaño en particular en la definición de espera error de la prueba, pero no vuelvas a decir esto de forma explícita.)

La razón es que se espera error de la prueba es una de las más característica fundamental de un algoritmo de aprendizaje, ya que los promedios de los caprichos de si tiene suerte o no con su particular conjunto de entrenamiento.

Como usted menciona, HFT mostrar el CV estimaciones de espera error de la prueba mejor de lo que las estimaciones condicionales error de la prueba. Esto es afortunado si usted está comparando los algoritmos de aprendizaje automático, pero lamentable si quieres saber qué tan bien el modelo en particular que se ajuste a un determinado conjunto de entrenamiento se va a trabajar.

Answer 2

Estoy pensando en el mismo pasaje y también estoy preguntando cuando yo iba a estar interesado en la prueba condicional de error. Lo que es más, tal y como yo lo entiendo que debe ser el mismo asintóticamente: para grandes conjuntos de pruebas y entrenamiento precisa de entrenamiento/prueba de split ya no debería resultar en diferentes condicional de la prueba de error de las estimaciones. Como se puede ver en la Hastie et al. reservar sus ejemplos en condicional - se espera que las diferencias basadas siempre en un número relativamente pequeño de observaciones, que si lo entiendo correctamente es la razón de por qué condicional y a la espera de la prueba de los errores se ven diferentes en los gráficos.

El libro se menciona que el esperado de la prueba de error de los promedios de la aleatoriedad en el conjunto de entrenamiento, mientras que el (condicional) error de la prueba no. Ahora cuando quiero aprovechar la incertidumbre asociada con los cuales particular de entrenamiento/test-set de partición hago en cuenta? Mi respuesta sería que estoy por lo general nunca interesado en acoger este tipo de incertidumbre ya que no es lo que me interesa cuando estoy haciendo un modelo de evaluación: En la evaluación de la capacidad de predicción de la calidad de un modelo quiero saber cómo sería la tarifa en digamos la previsión del tiempo de mañana. El tiempo de mañana está relacionado con mis datos casi tanto como mi prueba de los datos relacionados con mi formación de datos - así que tengo que calcular una prueba condicional de error para evaluar mi modelo. Sin embargo, el tiempo de mañana está relacionado con mis datos, no como una prueba específica conjunto está relacionado con la correspondiente específicos del conjunto de entrenamiento, pero como el promedio de la prueba de conjunto está relacionado con el promedio del conjunto de entrenamiento. Así que obtener el siguiente entrenamiento/test - set de partición y obtener otra prueba condicional de error. Tengo que hacer esto muchas veces (como por ejemplo, en K-fold cross-validation) - la variación en el individuo prueba condicional de los errores promedios de fuera y yo me quedo con la espera de error de la prueba; que, de nuevo, es todo lo que puedo pensar de querer obtener.

Dicho de otra manera, en el error de la prueba/de prueba previsto error gráficos en Hastie et al., que tengamos una idea de la eficiencia del modelo de calculadora: si la prueba condicional de los errores se encuentran dispersas alrededor de la espera error de la prueba esto es una indicación de que el estimador de ser ineficientes, mientras que la menor variación en la prueba condicional de los errores indicaría un estimador más eficiente, dada la cantidad de observaciones.

Bottomline: yo podría estar equivocado aquí, y yo estaría feliz de ser corregido en esto, pero como yo lo veo en el momento en que el concepto de la prueba condicional de error es un dudoso intento en la evaluación externa del modelo de validez a través de dejarse sólo un entrenamiento/prueba de las particiones de tiro. Para muestras grandes de esta única vacuna debe ser equivalente a conditoinal prueba de errores promedio durante muchas entrenamiento/prueba de las particiones de los tiros, es decir, a la espera de la prueba de error. Para muestras pequeñas, donde se presenta una diferencia de la medida actual de interés, me parece ser el esperado, y no el condicional error de la prueba.