¿Existe una representación gráfica del equilibrio entre sesgo y varianza en la regresión lineal?

Question

Estoy sufriendo un apagón. Me presentaron la siguiente imagen para mostrar el equilibrio entre el sesgo y la varianza en el contexto de la regresión lineal:

Puedo ver que ninguno de los dos modelos es un buen ajuste - el "simple" no está apreciando la complejidad de la relación X-Y y el "complejo" está simplemente sobreajustado, básicamente aprendiendo los datos de entrenamiento de memoria. Sin embargo, no veo en absoluto el sesgo y la varianza en estos dos cuadros. ¿Podría alguien mostrármelo?

PD: La respuesta a ¿Explicación intuitiva de la compensación entre sesgo y varianza? no me ayudó mucho, me alegraría si alguien pudiera aportar un enfoque diferente basado en la imagen anterior.

Answer 1

Para resumir con lo que creo saber de manera no matemática:

• sesgo: su predicción será incorrecta cuando utilice el modelo simple y eso ocurrirá en cualquier conjunto de datos en el que utilice el modelo. Se espera que su predicción sea incorrecta
• varianza - si utiliza el modelo complejo, obtendrá una predicción muy diferente en función del conjunto de datos que utilice

Esta página tiene una explicación bastante buena con diagramas similares a los que has puesto. (Aunque me salté la parte superior, sólo leí la parte con los diagramas) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (el ratón muestra una muestra diferente en caso de que no te hayas dado cuenta)

Answer 2

La compensación de la varianza del sesgo se basa en la descomposición del error cuadrático medio:

$$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$$

Una forma de ver el comercio de sesgo-varianza de es qué propiedades del conjunto de datos se utilizan en el ajuste del modelo. Para el modelo simple, si suponemos que se utilizó la regresión OLS para ajustar la línea recta, entonces sólo se utilizan 4 números para ajustar la línea:

1. La covarianza muestral entre x e y
2. La varianza muestral de x
3. La media muestral de x
4. La media muestral de y

Así que, cualquier gráfico que lleva a los mismos 4 números anteriores llevará exactamente a la misma línea ajustada (10 puntos, 100 puntos, 100000000 puntos). Así que en cierto sentido es insensible a la muestra particular observada. Esto significa que estará "sesgado" porque efectivamente ignora parte de los datos. Si esa parte ignorada de los datos resulta ser importante, entonces las predicciones estarán sistemáticamente equivocadas. Esto se verá si se compara la línea ajustada utilizando todos los datos con las líneas ajustadas obtenidas al eliminar un punto de datos. Tendrán tendencia a ser bastante estables.

Ahora, el segundo modelo utiliza todos los datos que puede obtener, y se ajusta a los datos lo más posible. Por lo tanto, la posición exacta de cada punto de datos es importante, y no se pueden desplazar los datos de entrenamiento sin cambiar el modelo ajustado como se puede hacer con OLS. Por tanto, el modelo es muy sensible al conjunto de datos de entrenamiento que se tenga. El modelo ajustado será muy diferente si se hace el mismo trazado de un punto de datos.