¿Cómo verificar que el modelo es real?

Question

Aquí es un diagrama de bloques que estoy usando cuando quiero verificar que mi modelo es real.

En cada ronda un pliegue de 11/12 por ciento de los datos se utiliza para bulid el modelo (por ejemplo, los vectores propios de la PCA)

Después de 12 rondas puedo comprobar que los modelos (e.g los vectores propios de la PCA) de cada ronda no son estadísticamente diferentes y si efectivamente no me declararon que el modelo es estable. Donde la idea es que si un modelo es estable en un k-fold sentido es algún tipo de indicación de que el modelo es real

Yo más o menos pensado de mí mismo (sobre todo en la última etapa de verificación) por lo tanto, me gustaría saber qué piensas al respecto ? es usted consciente de otras formas de "comprobar que mi modelo es real" ?

Answer 1

La estabilidad de sus resultados depende del número de puntos de datos que se utilizan para calcular los parámetros del modelo, no tanto en si el modelo refleja la realidad.

Tomemos, por ejemplo, una simple univariante de la distribución Gaussiana con un fijo variación y la variación de la media (un modelo estadístico). La varianza de la estimación de la media pasará como 1/N, donde N es el número de puntos de datos en el conjunto de entrenamiento.

Para modelos estadísticos, una medida de distancia de gran interés es el de Kullback-Leibler divergencia entre el modelo de distribución y la verdadera distribución de los datos. Por desgracia, la divergencia KL requiere el conocimiento de la verdadera distribución y por lo tanto no es muy práctico. Una alternativa sería el diferencial de la log-verosimilitud (véase la densidad de la Mezcla de modelado, de Kullback–Leibler divergencia, y el diferencial de la log-verosimilitud, van Hulle, 2004). Pero hay un número infinito de posibles medidas de distancia que se puede utilizar. Que uno debe elegir depende de lo que se va a utilizar el modelo para.