la regresión lineal predice un nivel inferior al esperado

Question

Estoy tratando de predecir el GPA del primer trimestre para los estudiantes universitarios en base a una serie de factores de entrada (gpa de la escuela secundaria, prueba de nivel, año). Este no es el modelo general sino uno más simple. Las notas del primer trimestre están en el intervalo de 0 a 4, sin embargo las predicciones del modelo lineal OLS (estoy usando sklearn) nunca van más allá de 3,6 (ver imagen). ¿Se trata de algún tipo de problema que se me escapa? Ciertamente, hay datos en el conjunto de entrenamiento con el primer término GPA que está entre 3,6 y 4,0. No esperaba un rendimiento perfecto, pero esto es impar para mí.

Answer 1

Las predicciones de este tipo no incluyen el "error" de tu modelo: es decir, esperas que aunque tu modelo sea muy bueno, un alumno con alguna combinación de predictores no sea exactamente la predicción, sino que esté por encima o por debajo. La única forma de obtener una predicción de 4 sería si una combinación de predictores diera una estimación que el promedio de GPA para esa combinación observada sería 4. Si el promedio de GPA para esa combinación observada es de 3,6 con un rango de 3,0-4,0, su modelo predeciría 3,6 incluso si esperara que alguna fracción tuviera 4,0; su mejor conjetura para cada estudiante individual es el valor esperado la media. Si en lugar de eso, imaginó sus predicciones como distribuciones de probabilidad encontrarías que estos incluyen 4.0.

Sin embargo, parece que su modelo en sí no es muy bueno: hay mucha diferencia entre sus predicciones y los resultados y muy poca pendiente entre ellos en relación con la varianza.