¿Cuándo es apropiado realizar un análisis factorial a nivel de ítems frente a nivel de escala en un cuestionario?

Question

Estoy realizando una investigación para validar un nuevo cuestionario, que consta de 156 ítems divididos en 12 escalas. He realizado un análisis factorial a nivel de escala, que me da dos buenos constructos (coherentes con la teoría).

Sin embargo, mi tutora insiste en que esto no es bueno, ya que, según ella, tengo que realizar un análisis factorial exploratorio a nivel de ítem. Lo he hecho y he encontrado 43 factores (solo un par de valores de esta enorme tabla tienen un valor cuadrático absoluto superior a 0,4, que es el valor sugerido por Field (2005) como significativo).

¿Es posible que al realizar un análisis de este tipo con un cuestionario de más de 100 ítems, un análisis factorial no sea realmente tan apropiado?

También he estado leyendo el manual PAI - capítulo Estructura PAI del desarrollo del cuestionario PAI (págs. 275-289), ya que se trata de un cuestionario que se ha desarrollado con muchos fondos para la investigación y ahora se utiliza ampliamente. No se ha realizado ningún análisis factorial sobre los ítems, sino sólo a nivel de escala. Varios análisis factoriales posteriores realizados por otros autores también han incluido sólo las escalas (no los ítems).

Espero escuchar otras opiniones al respecto, idealmente con referencias a estudios/teorías.

Answer 1

En esta respuesta no voy a diferenciar entre Análisis Factorial (AF) y Análisis de Componentes Principales (ACP), pero por defecto me refiero a ACP. Estos dos son diferentes. En mi entorno, cuando alguien dice "yo hago análisis factorial" siempre quiere decir PCA, y casi nunca se da cuenta de la (sutil) diferencia.

El análisis de ambos ítems y escalas puede considerarse correcto y no intercambiable, ya que se refieren a un problema un poco diferente. La gente de psicología suele hacer AF basado en ítems, y probablemente por eso tu tutor (quizá de forma demasiado automática) te lo pide. He aquí las diferencias importantes:

1. Hay mucha menos información en 12 escalas que en 156 ítems, por lo que pudo discernir muchos más factores (información) de los ítems. Se puede poner un límite al análisis factorial y obtener sólo dos factores y esperar resultados comparables, pero...
2. ...El procedimiento de análisis factorial incorpora una creencia previa, que todos los artículos son equivalentemente buenos . Esta prioridad dará lugar a un sesgo diferente si algunas escalas de su cuestionario se basan en una cantidad de ítems muy diferente a las demás. Conozco muchos cuestionarios de escalas múltiples en los que algunas escalas se basan en 2 o incluso 1 ítem, mientras que otras se basan en 20 ítems. En el caso de este tipo de cuestionarios, los ítems presentes en las escalas pequeñas tendrán mucho más peso en el resultado del AF que los ítems presentes en las escalas grandes. Y si hay ítems compartidos entre las escalas, automáticamente tendrán un mayor impacto en los factores.

Mi consejo:

Haz lo que te pida tu tutor - FA en los artículos también es un procedimiento bueno y válido.

Dudo que sus 43 factores sean un resultado válido de un análisis factorial; a mí me parece más bien un límite superior.

Un AF adecuado rara vez termina en un número de factores igual a un límite superior dado por el criterio de Kaiser (dejar todos los factores con valor propio mayor que uno). El procedimiento exige que se consideren todos los conjuntos de factores posibles (respetando el criterio de Kaiser y posiblemente VariMax-rotados) para los que se podría dar un buen nombre/significado a todos y cada uno de los factores encontrados. Suelo acabar en una solución con la mitad de factores que el límite superior. Y analizando tantos conjuntos de factores (donde el primer conjunto contiene 43 factores) es un trabajo duro que difícilmente puede automatizarse (salvo, tal vez, con una red neuronal profunda ;-) ).

Lo que mejor me funciona es empezar el análisis factorial con el número máximo de factores e ir reduciéndolo hasta que encuentro un conjunto de factores para el que puedo dar un significado claro o alcanzo un criterio scree (punto de inflexión del gráfico scree) que da un límite izquierdo para el número de factores.

Timothy Brown - Confirmatory Factor Analysis for Applied Research, página 23:

(...) A pesar de que la EPT es una técnica exploratoria o descriptiva o descriptiva por naturaleza, la decisión sobre el número adecuado de factores debe guiarse por consideraciones sustantivas, además de las las directrices estadísticas que se exponen a continuación. Por ejemplo, la validez de un factor dado debe evaluarse en parte por su interpretabilidad; Por ejemplo, ¿tiene un factor revelado por la EPT una importancia sustantiva? importancia sustantiva? Una sólida base teórica y la experiencia previa con la interpretabilidad de los factores y la evaluación del modelo factorial global. la evaluación del modelo factorial global. Además, los factores de la solución deben estar bien definidos, es decir, constar de varios indicadores que guarden una estrecha relación con él. (...)

---

Si quiere probar la teoría de que su cuestionario tiene exactamente dos factores - utilice un Análisis factorial confirmatorio (es un caso especial del análisis de trayectorias, también conocido como modelo de ecuaciones estructurales (SEM)). Pero esa es otra historia.

Answer 2

Podría seguir con las dos buenas observaciones de Adam sobre las posibles diferencias entre el análisis factorial a nivel de escala y a nivel de ítem.

3. Sin embargo, el AF sobre 156 ítems requiere un tamaño de muestra mayor que el AF sobre 12 escalas.

4. Si la balanza se hubiera inventado como ortogonal factores en el AF pasado, entonces el AF actual sólo puede ser "exitoso" en la medida en que las escalas se correlacionen, es decir, en la medida en que el AF original fuera inadecuado o la aplicación de la prueba actual sea incomparable (población diferente, etc.) con la original. Pero si las escalas se habían inventado como factores oblicuos, entonces el hecho de hacer FA sobre estas escalas ahora puede verse como un intento de realizar de segundo orden ( 1 , 2 ) omitiendo la repetición del de primer orden.

5. Si las escalas no se hubieran inventado basándose en el paradigma de intercorrelación de ítems (como el AF), sino de otro modo (como, por ejemplo, basándose específicamente en las correlaciones con el criterio objetivo), entonces es probable que el AF a nivel de escala sea incomparable con el AF a nivel de ítem.

6. La suma de muchas puntuaciones de ítems en una puntuación de escala puede considerarse, desde el punto de vista de la fiabilidad, como una anulación. error aleatorio variabilidad entrometiéndose en la "verdadera característica" implícita. El AF a nivel de escala aparece entonces como si se tratara del análisis de datos sin errores. Por otro lado, el AF a nivel de ítem no cancelará sino que saludará esas mismas variabilidades como potencialmente sistemático puede unirse a algunos factores comunes menores (separados de los principales) o permanecer en los factores únicos ("de error"), en función de su solución de AF. Así pues, los dos enfoques son conceptualmente algo diferentes, reflejando la distinción entre fiabilidad y validez nociones. Análisis del factor alfa podría hacerse en artículos si se quiere aferrar más al punto de vista de la fiabilidad.

7. La suma de los elementos en una escala está vinculada a la pregunta de hasta qué punto es adecuada en comparación con Por ejemplo, estimaciones más "finas" de un rasgo, como las puntuaciones factoriales. El AF a nivel de escala puede ser bastante burdo (y, en última instancia, perder comparabilidad con el AF a nivel de ítem) si la suma simple es una mala estimación de los valores del rasgo.

Answer 3

Creo que el análisis factorial de ítems y el análisis factorial de subescalas podrían considerarse dos pasos de un procedimiento general para evaluar mediciones.