El lanzamiento de una moneda también es un proceso determinista que puede describirse en términos de física. Lo que denominamos "ruido aleatorio" es la variabilidad que no controlamos, desconocemos su origen o decidimos ignorar en nuestro modelo. La aleatoriedad y la probabilidad son sólo aproximaciones útiles a la complicada y caótica realidad.
En cuanto a las restricciones técnicas, la regresión supone que las observaciones son independientes e idénticamente distribuidas (es decir, son del mismo tipo) y que la varianza es homocedástica, etc., por lo que existen supuestos sobre la naturaleza de los errores.
Cuando se ajusta una regresión lineal, el supuesto más básico que se hace es el de la linealidad de la relación entre las variables, aunque en el mundo real casi nada sería exactamente lineal. Frenamos muchos de los supuestos con tal de que los modelos estadísticos sirvan como aproximaciones útiles a la realidad. Los supuestos son importantes porque nos recuerdan cuándo el método nos da garantías sobre la optimalidad de la solución, pero esto no significa que cuando se rompe, el método no sea aplicable.