¿Es ANOVA pretest-posttest con cuartiles de eficacia pretest como IV?

Question

Estoy leyendo un papel aquí lo que hace un análisis que me parece raro, y me pregunto si es razonable hacer lo que están haciendo. El papel no está disponible en línea, pero creo que puedo describir la parte importante:

Los autores tenían un montón de la universidad a los estudiantes que toman un curso de ciencias, y se mide su "eficacia" en dos puntos en el tiempo (pre-test antes de un curso, y luego post-test después del curso).

La hipótesis de que los estudiantes con menor pre-prueba de la eficacia obtendría la mayoría de pre a post (y que los alumnos con los más altos pre-prueba de la eficacia mejoraría el menos). Así, se divide a los estudiantes en grupos basados en la pre-eficacia de puntuación. Luego se hizo un camino de dos dentro de ANOVA. El IVs se "prueba" (pre o post) y "cuartil" (1, 2, 3, o 4). El DV fue la eficacia. Ellos están buscando un juicio:cuartil de la interacción (con la esperanza de que las pruebas post-hoc muestran que las cuartil más bajo ganará toneladas y el cuartil más alto ganará muy poco).

Supongo que lo que me preocupa es:

1. El "cuartil" no es realmente dentro de los sujetos, IV, debido a que para cada sujeto es constante. Me imagino que en un formato largo, sus datos habría tenido dos filas para cada materia (por la eficacia de las puntuaciones en el pre y post), y el cuartil habría sido el mismo en ambos.

2. Los estudiantes en el cuartil superior tienen menos ganancia. El cuartil más bajo que muy bien podían ganar más que el cuartil superior podría ganar (efecto techo en el cuartil superior).

3. También me preocupa que el cuartil y pre-eficacia de las puntuaciones están altamente correlacionados. No sé si esto está bien, pero para mí el cuartil es calculable a partir de la pre-eficacia, por lo que incluir tanto parece sospechoso.

4. ¿Por qué los cuartiles? ¿Por qué no en mitades o tercios, o de alguna manera simplemente usar el pre-eficacia directamente en lugar de romper en los cuartiles? Por ejemplo, algo como (post - pre) ~ pre y, a continuación, un negativo sig efecto de pre demostraría que, como pre aumenta la diferencia de puntuación disminuye?

Estoy esperando para hacer un análisis como este, pero no podía ponerme a avanzar en mi actual estado de malestar por la forma en que este análisis se ha realizado. Yo no soy un estadístico en todo esto, puedo estar completamente equivocado aquí.

Los comentarios son apreciados en cuanto a si el análisis es el sonido o no.

Answer 1

Con respecto a tus puntos:

1. El problema no es tanto que pretest cuartil es fijo, sino que los datos son dependientes y que habrá de regresión a la media.

2. Si hay techo efectos y los efectos de piso depende de algo más que sólo cuartil, también depende de la dificultad de la prueba. Si muchas personas están recibiendo 100, a continuación, hay claras techo efectos, pero si la alta puntuación está por debajo del máximo, entonces, no hay. Si hay techo y el suelo de los efectos, puede ser mejor utilizar la beta de la regresión, que permite delimitadas las variables dependientes. Sin embargo, la víspera si no hay techo efectos de que seguirá siendo el caso que los estudiantes que lo hizo mejor que puede ganar menos.

3. Desde su descripción, parece que no se incluyeron tanto de estos como de IVs, pero si lo hiciera, entonces sí, sería un gran problema

4. Estoy de acuerdo en que hacer cuartiles cuando se podría utilizar la puntuación de lugar no es el óptimo. La categorización de una variable continua es raro. La única razón para hacer esto que puedo ver es si se quiere hacer un análisis estratificado.

Answer 2

Añadir a Pedro excelentes puntos:

1. Está usted seguro de que esto no es sólo cuestión terminológica? Hay muchos enfoques ligeramente diferentes para este tipo de datos y una gran confusión acerca de cual es cual. Por ejemplo, en el programa SPSS, un ANOVA con un entre-sujetos y uno de sujeto factor se puede ejecutar a través del "Modelo Lineal General"/"Medidas Repetidas" en el menú. Algunas personas llaman a esto una "medidas repetidas" o "dentro de la materia" análisis de la VARIANZA, mientras que otras fuentes lo describen como un "modelo mixto de ANOVA".

   Tenga en cuenta que es fácil y lamentablemente común para aplicar algunas inapropiado "enlatados" procedimiento estadístico en dependiente de los datos (por ejemplo, moviendo cosas en Excel y, a continuación, ejecuta una T de muestras independientes prueba o algo en los datos en el formato largo), pero me parece más difícil erróneamente tratar algo como una "intrasujeto" factor de, al menos, con muchos paquetes estadísticos.

2. Su situación es diferente ya que no hay grupo de control y no de la aleatorización, pero usted puede encontrar las referencias dadas en las respuestas a las Mejores prácticas a la hora de analizar pre-post tratamiento-diseños de control útil para pensar acerca de este problema.

3. No hay mucho que añadir además el hecho de que parece que el mayor problema en todo esto.

4. Generalmente, esto no es recomendable y usted puede encontrar muchos artículos específicamente criticar esta práctica. Algunas referencias se han proporcionado en la Justificación de baja/alta o terciario se divide en ANOVA