¿Cómo puedo comparar los resultados de dos encuestas con escala Likert?

Question

Para mi tesis, tuve que evaluar la usabilidad de dos aplicaciones de escritorio: A y B. Se pidió a 5 participantes que valoraran en qué medida estaban de acuerdo con una serie de afirmaciones. Se utilizó una escala Likert de 5 puntos (Totalmente en desacuerdo=1; En desacuerdo=2; Ni de acuerdo ni en desacuerdo=3; De acuerdo=4; Totalmente de acuerdo=5 ) para juzgar en qué medida estaban de acuerdo con cada afirmación.

Este cuestionario se rellenó primero para la aplicación A y después para la aplicación B. Ahora tengo que analizar los datos de la escala Likert de ambas muestras utilizando algún tipo de prueba paramétrica o no paramétrica. Pero estoy un poco confundido sobre cómo debo proceder y todo lo que he leído en línea no ha sido de mucha ayuda.

Entiendo que puedo realizar una prueba t, pero no sé cómo deberían ser mis datos. ¿Tengo que introducir los datos basándome en los resultados medios de cada afirmación para cada una de las aplicaciones?

Sólo quiero comparar los resultados y demostrar que la aplicación "X" está clasificada como mucho más utilizable.

Answer 1

Así, McElreath (2020) habla de cómo los datos Likert suelen ser el tipo de datos más maltratado. Mientras que otros métodos pueden darte una respuesta razonable, lo que realmente deberías utilizar es un regresión logística ordinal . He aquí una breve introducción que puede resultar útil:

https://stats.idre.ucla.edu/r/dae/ordinal-logistic-regression/

pero te recomiendo que busques un libro electrónico de McElreath en la biblioteca de tu universidad (deberían tenerlo). También puedes ver esta conferencia sobre este tipo de datos de su seminario de posgrado:

https://www.youtube.com/watch?v=zA3Jxv8LOrA&list=PLDcUM9US4XdNM4Edgs7weiyIguLSToZRI&index=14

McElreath, R. (2020). Replanteamiento estadístico: A Bayesian course with examples in R and Stan. CRC press.

EDIT: Añadiendo otra cita aquí que será relevante para aquellos que vean esto:

Bürkner, P. C., & Vuorre, M. (2019). Modelos de regresión ordinal en psicología: Un tutorial. Avances en métodos y prácticas en ciencias psicológicas, 2(1), 77-101.

Answer 2

Dado que has utilizado una escala likert, comparar las medias es una forma plausible de ver si las dos aplicaciones son diferentes, pero como sólo tienes 5 personas en cada grupo, no deberías utilizar la prueba t porque no tienes una muestra lo suficientemente grande como para suponer que la media se distribuirá normalmente.

Si los participantes valoran ambas aplicaciones, su mejor opción es un Prueba de rango con signo de Wilcoxon que es como una prueba t pareada pero con supuestos menos estrictos.

Si hubiera querido hacer una clasificación, podría haber dicho a los participantes que clasificaran los dos, obligándoles a elegir el que prefirieran. A continuación, puede compararlo simplemente con un reparto equitativo 50/50, que habría sido lo que habría ocurrido si hubieran elegido al azar.

Algunos comentarios, si me lo permiten: Con 15 artículos, lo más probable es que obtengas algo que falsamente parezca significativo. Creo sinceramente que hay que seleccionar sólo un elemento que sea la mejor comparación entre las dos aplicaciones y realizar la prueba con él. Hay pruebas multivariantes no paramétricas (es decir, permiten comparar muchas medias a la vez, aunque sólo se disponga de una pequeña muestra), pero resulta bastante complicado. Puede que ni siquiera necesites hacer una prueba de hipótesis de forma honesta, por qué no utilizar simplemente algunos estadísticos de resumen.