¿Qué prueba de significación debe utilizarse para comparar modelos basados en la validación cruzada de Monte Carlo (holdout)?

Question

He creado dos modelos de aprendizaje automático y quiero realizar pruebas de significación en los resultados de varias métricas (sensibilidad, especificidad, kappa de Cohen, etc.) para ver si hay diferencias estadísticamente significativas en los resultados.

Mi conjunto de datos tiene 500 casos, y de ellos, una función de muestreo aleatorio elige 400 casos para entrenar cada uno de los modelos y los modelos se prueban en los 100 casos restantes. Por lo tanto, es necesario realizar una comparación por pares, ya que los modelos se prueban en los mismos 100 casos. Este proceso se repite 1.000 veces.

1. Ahora tengo 1000 valores de sensibilidad, etc. para cada uno de los dos modelos - ¿qué prueba debo utilizar para compararlos y obtener un valor p?

2. He leído artículos que utilizan Rango con signo de Wilcoxon pruebas - ¿podría hacerlo?

3. ¿El hecho de que la división aleatoria tren-prueba se produzca 1.000 veces obliga a realizar una corrección estadística?

Answer 1

Quizás en este ampliamente citado papel puede que encuentres la respuesta. Una prueba t emparejada no parece apropiada en este caso, pero se sugiere una prueba emparejada 5x2cv

EDITAR: He seguido leyendo sobre el tema y parece que hay otras dos opciones posibles:

• Prueba T emparejada por permutación
• Prueba T emparejada corregida

Desconozco la validez de la prueba emparejada de permutación en comparación con la típica prueba t emparejada. En concreto, todavía no estoy seguro de si el supuesto de intercambiabilidad de la prueba de permutación se viola o no en la validación cruzada de Monte Carlo.