He llevado a cabo un equipo basado en la evaluación de los diferentes métodos de ajuste de un determinado tipo de modelo utilizado en el palaeo ciencias. Yo tenía un gran-ish conjunto de entrenamiento y así me aleatoria (muestreo aleatorio estratificado) establezca un conjunto de pruebas. Yo equipada $m$ diferentes métodos para el conjunto de entrenamiento muestras y el uso de la $m$ modelos resultantes predije la respuesta para el conjunto de pruebas de las muestras y se calcula un RMSEP sobre las muestras en el conjunto de prueba. Esta es una sola ejecución.
Luego repetí este proceso un gran número de veces, cada vez elegí un diferente conjunto de entrenamiento por muestreo al azar de un nuevo conjunto de pruebas.
Habiendo hecho esto, quiero investigar si alguna de las $m$ métodos tiene mejor o peor RMSEP rendimiento. También me gustaría hacer comparaciones múltiples de los pares de métodos.
Mi planteamiento ha sido un ajuste lineal de efectos mixtos (LME) del modelo, con un único efecto aleatorio para Ejecutar. Yo solía lmer() de la lme4 paquete para adaptarse a mi modelo y funciones de la multcomp paquete para realizar las comparaciones múltiples. Mi modelo era esencialmente
lmer(RMSEP ~ method + (1 | Run), data = FOO)
donde method es un factor que indica el método que se utilizó para generar las predicciones del modelo para el conjunto de pruebas y Run es un indicador para cada uno de Ejecutar de mi "experimento".
Mi pregunta es con respecto a los residuos de la LME. Dado que el único efecto aleatorio para Ejecutar estoy suponiendo que el RMSEP valores para los que se ejecutan están correlacionadas en cierto grado, pero no están correlacionados entre carreras, sobre la base de la inducida por la correlación de los efectos aleatorios ofrece.
Es esta suposición de independencia entre ejecuta válido? Si no hay una forma de tener en cuenta esto en el LME modelo o debo buscar a recurrir a otro tipo de análisis estadístico para responder a mi pregunta?
