Siguiendo con esta pregunta...
En los mínimos cuadrados ordinarios, las predicciones y los residuos son ortogonales. $$\sum_{i=1}^n\hat{y}_i (y_i - \hat{y}_i) = 0$$
Si estimamos los coeficientes de regresión utilizando algún otro método pero el mismo modelo, como el uso de la regularización, ¿por qué, intuitivamente, debería eso destruir la ortogonalidad?