Complicaciones de tener una muy pequeña muestra en un modelo de ecuaciones estructurales

Question

Estoy ejecutando un modelo de ecuaciones estructurales (SEM) en Amos 18. Yo estaba buscando para 100 personas, para mi experimento (utilizar libremente), que fue considerado probablemente no lo suficiente para realizar con éxito la SEM. Me han dicho en repetidas ocasiones que el SEM (junto con la EPT, CFA) es un "gran ejemplo" procedimiento estadístico. Larga historia corta, no la hice yo a 100 participantes (¡qué sorpresa!), y sólo tiene 42 después de excluir a los dos problemáticas puntos de datos. De interés, he probado el modelo de todos modos, y para mi sorpresa, parecía encajar muy bien! CFI >.95, RMSEA < .09, SRMR <.08.

El modelo no es simple, de hecho, yo diría que es relativamente compleja. Tengo dos variables latentes, uno con dos observado y el otro con 5 de las variables observadas. También tengo otros cuatro las variables observadas en el modelo. Hay numerosas relaciones entre las variables, directos e indirectos, con algunas variables endógenas a otros cuatro, como un ejemplo.

Soy algo nuevo en SEM; sin embargo, dos personas que conozco que están bastante familiarizados con el SEM me dicen que mientras el ajuste indicies son buenas, los efectos son interpretables (siempre que son importantes) y no hay nada significativamente "mal" con el modelo. Sé que algunos de ajuste indicies están sesgados a favor o en contra de muestras pequeñas en términos de lo que sugiere el ajuste es bueno, pero los tres que he mencionado anteriormente, parecen estar bien, y yo creo que no del mismo modo sesgado. Para la prueba de los efectos indirectos estoy usando bootstrap (2000 muestras o así), el 90 por ciento de sesgo corregido confianza, monte carlo. Una nota adicional es que estoy ejecutando tres diferentes SEMs para tres condiciones diferentes.

Tengo dos preguntas que me gustaría que algunos de los que usted considere y responda por favor si tienes algo que aportar:

1. Existen debilidades significativas para mi modelo que no se ha demostrado por el ajuste de los índices? La muestra es pequeña se destacó como una debilidad del estudio, pero me preguntaba si hay alguna gran problema estadístico que estoy completamente inconscientes. Tengo la intención de obtener otro 10-20 los participantes en el futuro, pero esto me deja con una muestra relativamente pequeña para este tipo de análisis.

2. Hay algún problema con el uso de bootstrap dado a mi pequeño de la muestra, o el contexto en el que yo estoy usando?

Espero que estas preguntas no son muy "básico" para este foro. He leído una serie de capítulos sobre SEM y asuntos relacionados, pero me parece que la gente está muy dispersa en términos de opiniones en esta área!

Saludos

Answer 1

Un punto: no hay tal cosa como una "cuestión fundamental", sólo usted sabe lo que usted sabe, y no lo que usted no sabe. una pregunta es a menudo la única manera de averiguar.

Cada vez que usted vea muestras pequeñas, usted encontrará que realmente tiene "fe" en sus modelos y quién no. Digo esto porque en muestras pequeñas es generalmente donde los modelos tienen el mayor impacto.

Ser un agudo (psico?) modelador de mí, digo de ir a por ello! Usted parece ser la adopción de un enfoque prudente, y que han reconocido el potencial de sesgo, etc. debido a la pequeña muestra. Una cosa a tener en cuenta en el ajuste de modelos a datos pequeños es que tiene 12 variables. Ahora usted debe pensar: ¿cómo podría cualquier modelo con 12 variables se determina por 42 observaciones? Si usted tiene 42 variables, entonces cualquier modelo podría ser perfectamente apto para los 42 observaciones (a grandes rasgos), por lo que su caso no está muy lejos de ser demasiado flexible. ¿Qué sucede cuando el modelo es muy flexible? Tiende a encajar el ruido, es decir, las relaciones que se determinan por otras cosas que las que postula.

Usted también tiene la oportunidad de poner su ego, donde el modelo es predecir cuál de los futuros 10-20 muestras será de su modelo. Me pregunto cómo sus críticos va a reaccionar a lo que se llama un "cutre" modelo que le da el derecho de las predicciones. Tenga en cuenta que usted podría conseguir una similar "te lo dije" si tu modelo no predicen bien los datos.

Otra manera en que usted puede asegurarse de que sus resultados son fiables, es probar y rotura de los mismos. Mantener los datos originales intactos, crear un nuevo conjunto de datos, y ver lo que tiene que hacer para este nuevo conjunto de datos con el fin de hacer su SEM resultados parecen ridículas. Veamos entonces lo que había que hacer, y tener en cuenta: es este un escenario razonable? ¿Mi "ridículos" los datos se asemejan a una verdadera posibilidad? Si usted tiene que tomar sus datos ridículo territorio con el fin de producir ridículo de los resultados, se ofrece algún tipo de garantía (heurística, no formal) que su método es el sonido.

Answer 2

El principal problema que veo con esto es la falta de poder. Factorial confirmatorio y SEM pruebas de mirar a aceptar el null - quieres ver una no significativa p-valor - por lo que la falta de energía puede ser un problema. La potencia de la prueba depende del tamaño de la muestra (42) y los grados de libertad. AMÓS le da los grados de libertad. Usted no ha citado, pero no va a ser grande en este caso. Con 12 variables, de empezar con 66 del DF, y resta 1 para cada parámetro a estimar. No sé cuántos que sería, pero usted dice que usted tiene varios factores y correlaciones entre diversas construcciones.

No estoy totalmente de acuerdo con Rolando2. En SEM, ventajas de tener un montón de variables, asumiendo que ellos son indicadores fiables de la base de las construcciones. Para no reducir el número de variables. Por la misma razón, no estoy totalmente de acuerdo con @probabilityislogic. En SEM, usted no está tratando de modelo de 12 variables con 42 observaciones. Usted está tratando de modelo de las construcciones a través de 12 indicadores, reforzado por 42 repeticiones. Una muy simple modelo de factor - 1 factor con 12 indicadores - que posiblemente puede ser probado con 42 personas.

El RMSEA y otros de la bondad de ajuste de las medidas tienden a mejorar a medida que cerca de la saturación de la modelo, así que de nuevo, se corre el riesgo de un resultado erróneo.

Dicho esto, he visto pequeños conjuntos de datos rechazar un modelo de factor. Probablemente significa algo que el ajuste parece ser buena.

Nota: también Se puede comprobar que los residuos de un SEM modelo. Estas son las diferencias entre la estimación de la matriz de covarianza y el modelo de la matriz de covarianza. AMOS les dará a usted si usted lo solicita. El examen de los residuos podría indicar si están distribuidas de manera uniforme, o si alguna de las covarianzas son muy mal equipado.