¿Por qué llamamos a las ecuaciones de estimación por mínimos cuadrados en la regresión lineal las *ecuaciones normales*?

Question

Cuando queremos estimar los parámetros de la regresión lineal, hacemos ecuaciones normales tantas como el modelo lineal contenga el número de incógnitas. Por qué estas ecuaciones se llaman ecuaciones normales?

Answer 1

Daré lo que quizás sea el entendimiento más común, y luego algunos detalles adicionales.

Normal es un término en geometría (Wikipedia):

En geometría, una normal es un objeto como una línea o un vector que es perpendicular a un objeto dado.

que a su vez parece provenir de un término que designa una escuadra de carpintero o de albañil [1]

NORM y NORMAL. Según el OED, en latín norma podía significar una escuadra utilizada por carpinteros, albañiles, etc., para obtener ángulos rectos, un ángulo recto o una norma o patrón de práctica o comportamiento. Estos significados se reflejan en los términos matemáticos basados en norma y normal.

y desde la geometría el término se traslada a los espacios vectoriales.

La respuesta directa para las "ecuaciones normales" se da aquí: http://mathworld.wolfram.com/NormalEquation.html

Se llama ecuación normal porque $b-Ax$ es normal al rango de $A$ .

(En la notación habitual de regresión es ' $y-Xb$ es normal al rango de $X$ ')

Literalmente, el residuo de los mínimos cuadrados es perpendicular (en ángulo recto) al espacio abarcado por $X$ .

El $y$ -El vector se encuentra en $n$ dimensiones. La matriz X abarca $p$ de esos (o $p+1$ dependiendo de cómo esté configurada su notación; si $X$ es de rango completo, es el número de columnas de X). La solución de mínimos cuadrados $X\hat{\beta}$ es el punto más cercano de ese espacio abarcado por $X$ a eso $y$ -(de hecho, literalmente la proyección de $y$ en el espacio abarcado por $X$ ). Es necesariamente el caso de que al minimizar la suma de cuadrados, la diferencia $y-X\hat{\beta}$ es ortogonal al espacio abarcado por $X$ . (Si no fuera así, habría una solución aún más pequeña).

Sin embargo, como sugiere Whuber en los comentarios, no está tan claro.

Mirando de nuevo [1]:

El término ECUACIÓN NORMAL en los mínimos cuadrados fue introducido por Gauss en 1822 [James A. Landau]. En la "Terminología normativa" de Kruskal y Stigler (en Stigler (1999)) se barajan varias hipótesis sobre la procedencia del término, pero no se encuentra ninguna muy satisfactoria.

Sin embargo, el método de las ecuaciones normales se atribuye a menudo a Legendre, 1805.

[1] Miller, J. (ed) "Primeros usos conocidos de algunas palabras de las matemáticas, N" en Primeros usos conocidos de algunas palabras de las matemáticas