Si los profesores son responsables del 30% de la variación del rendimiento de los alumnos, ¿puede un profesor aumentar el 30% del rendimiento enseñando mejor?

Question

Mi profesor escribió:

Las investigaciones que utilizan sofisticadas técnicas estadísticas indican que la experiencia docente representa alrededor del 30% de la variación del rendimiento de los alumnos (Hattie, 2003). Piense en cómo serían los resultados de los exámenes de sus alumnos si pudiera lograr este aumento del 30 por ciento con cada grupo de estudiantes que pasara por sus clases cada año.

Creo que el profesor no entiende la varianza contabilizada. "La pericia docente representa alrededor del 30% de la varianza en el rendimiento de los alumnos" significa que un profesor es responsable del 30% de lo que consigue un alumno. No se puede deducir de esto que un gran profesor logrará un aumento del 30% en el rendimiento de los alumnos en relación con... ¿un profesor que no enseñara nada? Si tuviéramos dos profesores, uno en la parte baja de la experiencia docente y otro en la parte alta, impartiendo clases que tuvieran todas las demás variables constantes (socioeconómicas, motivación, etc.), ¿la clase del mejor profesor lograría un aumento del 30% en relación con el peor profesor?

Answer 1

Tiene razón al sospechar que su profesor lo ha entendido mal.

La respuesta correcta es que no podemos decir nada en absoluto sobre el porcentaje de mejora del rendimiento de los alumnos impulsado por la experiencia de los profesores . Nada en absoluto.

¿Por qué? La cita es en términos de varianza explicada . La varianza explicada no tiene nada que ver con los valores reales sobre los que se miden las escalas, en los que se contabilizaría cualquier porcentaje de mejora del rendimiento de los alumnos. Ambas cosas están completamente separadas.

Veamos un ejemplo. Aquí hay algunos datos simulados:

Código R:

nn <- 1e2
set.seed(1) # for reproducibility

teaching_expertise <- runif(nn)
student_achievement <- 5+0.1*teaching_expertise+rnorm(nn,0,0.05)
model <- lm(student_achievement~teaching_expertise)

plot(teaching_expertise,student_achievement,pch=19,las=1,
    xlab="Teaching Expertise",ylab="Student Achievement")
abline(model,col="red")

Tenga en cuenta que el model está correctamente especificado: el rendimiento de los alumnos depende linealmente de la experiencia docente, y eso es lo que estoy modelando. No hay trucos baratos aquí.

Tenemos $R^2=0.30$ por lo que la experiencia docente representa efectivamente el 30% del rendimiento de los alumnos ( ver aquí ):

> summary(model)

Call:
lm(formula = student_achievement ~ teaching_expertise)
... snip ...
Multiple R-squared:  0.304,     Adjusted R-squared:  0.2969

Sin embargo, aquí está el rendimiento de los alumnos que predeciríamos para los profesores que se encuentran en la parte más baja (experiencia docente de 0) frente a los que se encuentran en la parte más alta del rango (1):

> (foo <- predict(model,newdata=data.frame(teaching_expertise=c(0,1))))
       1        2 
4.991034 5.106651

La mejora es del orden de $\frac{5.11-4.99}{4.99}\approx 2.4\%$ .

> diff(foo)/foo[1]
         2 
0.02316497

(Además, esto es esperado logro. Actual el logro será diferente. Dado que la regresión a la media suele ser más fuerte en los extremos, la diferencia real será aún menor).

¿Y sabes qué? Podríamos cambiar este porcentaje de cambio a casi cualquier número que queramos. Incluso un negativo ¡porcentaje de mejora! ¿Cómo? Simplemente cambiando ese único e inocuo número 5 en la simulación de datos anterior, es decir, el intercepto.

¿Qué está pasando? La varianza explicada mide la cantidad en la que los residuos (suma de cuadrados) son reducidos por un modelo es decir, la diferencia entre los residuos de la línea de regresión y los residuos de la media general. Al cambiar el intercepto (el 5 ), podemos desplazar todo arriba y abajo. Incluyendo la media general. Así que cambiar el intercepto dejará la varianza explicada completamente sin cambios. (Si tienes R, prueba esto. Esperaremos).

Sin embargo, el cambio de todo hacia arriba y hacia abajo se cambiar las puntuaciones concretas. En particular, el porcentaje mejora de un "buen" frente a un "mal" profesor. Si desplazamos todo hacia abajo lo suficiente, obtenemos un negativo rendimiento de los alumnos para el "mal" profesor. Y un cambio positivo para el "buen" profesor frente a un negativo La línea de base le dará un porcentaje negativo de mejora. (Una vez más, pruebe esto. Un intercepto de -1 obras).

Sí, por supuesto que esas mejoras porcentuales negativas no tienen sentido aquí. Esto es sólo una ilustración del hecho de que hay cero relación entre la varianza explicada y el porcentaje de mejora de las mediciones .

Answer 2

El Documento Hattie 2003 menciona una forma simple de modelización lineal jerárquica ignorando las interacciones. La descripción del 30% en el documento no es especialmente minuciosa, y los enlaces rotos en las referencias dificultan ver de dónde procede la cifra. Supongo que su enfoque se basó en R-cuadrado parcial .

La respuesta es no No se puede esperar que pasar de un mal profesor a un buen profesor aumente el rendimiento en un 30%. Los dos 30% se miden de forma completamente diferente.

Por ejemplo, supongamos que el rendimiento sigue esta ecuación: $$\text{performance} = \beta_0 + \beta_1 ~\text{studentEffort} + \beta_2 ~\text{teacherEffort} + \text{noise}$$ Si el $\beta_2$ es pequeño, el gráfico de rendimiento sería casi plano a medida que cambiara teacherEffort. Esto puede ocurrir independientemente de la $R^2$ es o cómo podría dividirse en parcialidades $R^2$ 's.

En otras palabras, decir que el teachingEffort representa el 30% de una variación no dice cuál es esa variación a lo largo del conjunto de datos, es decir, cuánto cambia el rendimiento.

Answer 3

Usted escribe: "La experiencia docente representa alrededor del 30% de la variación del rendimiento de los alumnos", lo que significa que un profesor es responsable del 30% de lo que consigue un alumno.

Una formulación mejor sería "Un profesor es responsable del 30% de la diferencia de rendimiento entre los estudiantes ".

En otras palabras, si el rendimiento medio de un grupo de alumnos con el profesor A es de 80 puntos y el rendimiento medio de otro grupo con el profesor B es de 70 puntos, el rendimiento de los profesores A y B puede suponer unos 3 puntos (el 30% de los 10 puntos de variación del rendimiento).