¿Cuál es la lógica de aplicar un método exploratorio/no supervisado (ACP o AF con rotación VARIMAX) después de haber probado un modelo confirmatorio, sobre todo si se hace con la misma muestra?
En su modelo CFA, usted impone restricciones a su matriz de patrones, por ejemplo, se supone que algunos ítems cargan en un factor pero no en los demás. Un índice de modificación elevado indica que liberar un parámetro o eliminar una restricción de igualdad podría mejorar el ajuste del modelo. Las cargas de los ítems ya están disponibles a través del ajuste de su modelo.
Por el contrario, en el ACP o el AF no existe tal restricción, ni siquiera tras una rotación ortogonal (cuyo propósito es únicamente hacer que el factor sea más interpretable en el sentido de que los ítems tenderían generalmente a cargarse más en un factor que en varios). Sin embargo, cabe señalar que estos modelos son conceptual y matemáticamente diferentes: el modelo FA es un modelo de medición, en el que se supone que existe un error único asociado a cada ítem; esto no ocurre en el marco del PCA. Por lo tanto, no es sorprendente que no haya podido replicar su estructura factorial, lo que puede ser una indicación de que existe una posible carga cruzada de los ítems, una baja fiabilidad de los ítems, una baja estabilidad en su estructura factorial, o la existencia de una estructura factorial de orden superior, que se ve reforzada por el bajo tamaño de su muestra.
En ambos casos, pero sobre todo CFA, $N=96$ es un tamaño de muestra muy limitado. Aunque algunos autores han sugerido una proporción individuos:ítems de 5 a 10, lo importante es simplemente el número de dimensiones. En su caso, la estimación de sus parámetros será ruidosa, y en el caso de PCA puede esperar fluctuaciones en sus cargas estimadas (pruebe con bootstrap para hacerse una idea de los IC del 95%).