¿cuál es la diferencia entre la prueba t y la validación por 10 veces?

Question

Una de las famosas pruebas significativas es la prueba t, que permite concluir si nuestro resultado es casual o no utilizando los resultados anteriores y su varianza. Además, cuando utilizamos la validación 10 veces, dividimos nuestro conjunto de datos en trozos de entrenamiento y de prueba y aprendemos y probamos iterativamente sobre ellos. Entonces podemos calcular la media y la varianza de nuestros resultados.

lo que me desconcierta es que ¿cuál es la diferencia exacta entre una prueba significativa como la prueba t y la validación por 10 veces?

Answer 1

Sirven para fines completamente diferentes. La validación cruzada se utiliza para estimar el rendimiento de la generalización, mientras que las pruebas t (de dos muestras) se utilizan para evaluar la probabilidad de que dos muestras procedan de la misma distribución.

La partición de los datos en la validación cruzada se realiza para garantizar que el rendimiento se evalúa siempre sobre la base de datos independientes, es decir, datos que no se utilizaron para construir el modelo. Una prueba t no implica ninguna partición de datos.

Tanto la validación cruzada como las pruebas t pueden utilizarse para la selección de modelos, pero no de forma competitiva. Normalmente, se combinan ambos, es decir, se adquiere una muestra de estimaciones de rendimiento a través de la validación cruzada y luego se utiliza una prueba t (o prueba de no inferioridad) para ver si un modelo supera significativamente a otro. Dicho esto, una prueba t no es adecuada para este tipo de comparaciones (aunque no es raro), ya que el supuesto de normalidad en el que se basa la prueba no se cumple.