Los intervalos de confianza para validado por cruz estadísticas

Question

Cómo se calculan los intervalos de confianza de la cruz-validar las estimaciones?

Para epidemiológico utilizamos papel de cat. y cont. NRI, IDI, y la diferencia en C índice para la comparación de dos modelos de Cox. El revisor sugirió que muestra sólo la cruz-validar las estimaciones y sus ic 95% intervalos de confianza.

Mis ideas incluyen tomar el cuantiles de la CV cambia la resolución, el cálculo de la SE de los remuestrea y la construcción de intervalos de Wald, o el arranque de la CI de la remuestrea' media o la mediana. Pero de alguna manera todos ellos parecen falsos.

Answer 1

Para nuestro riesgo de crédito de papel en la predicción de impagos de préstamos, un revisor también sugirió que nos producen los intervalos de confianza para la cruz de la validación de las estimaciones y, en particular, recomienda el arranque de la remuestreada decir.

Bootstrap de la Cei fueron producidos para la clasificación de riesgos de las medidas incluidas las AUC, H-de la medida y de la prueba de Kolmogorov-Smirnov (K-S) de la estadística. Ellos fueron utilizados para comparar el rendimiento de la discriminación de dos supervivencia de los modelos de la Mezcla de Cura, Cox con regresión logística.

Sería interesante aprender de otros enfoques, tales CIs.

Tong, E. N. C., Mues, C. & Thomas, L. C. (2012) la Mezcla de cura modelos en la puntuación de crédito: Si y cuando los prestatarios por defecto. European Journal of Operational Research, 218, (1), 132-139.

Answer 2

Recientemente publiqué un artículo de informes de la media y el 95% de intervalos de confianza para un número de estadísticas de rendimiento (exactitud, sensibilidad, especificidad, etc) para un modelo de regresión logística. Hemos utilizado 10 repeticiones de 10 veces validación cruzada, tomando el conjunto de pruebas de resultado para cada pliegue de producción de 100 valores para cada rendimiento. Si se puede razonablemente suponer que estos valores son independientes, entonces el 95% de intervalos de confianza puede ser calculada a partir de estos valores. Si usted no puede asumir la independencia, a continuación, arranque, como se discutió anteriormente, puede ser más apropiado.