Su conjetura es correcta: mínimo absoluto de las desviaciones fue el método que prueban por primera vez en la historia. Los primeros en utilizarla fueron los astrónomos que estaban tratando de combinar observaciones sujeto a error. Boscovitch en 1755 publicado este método y una solución geométrica. Fue utilizado más tarde por Laplace en una 1789 trabajo en la geodesia. Laplace formulado el problema más matemáticamente y se describe una solución analítica.
Legendre parece ser el primero en utilizar mínimos cuadrados, haciendo así que tan pronto como 1798 para el trabajo en mecánica celeste. Sin embargo, él suministrados no probabilística de justificación. Una década más tarde, Gauss (en un 1809 tratado sobre el movimiento celeste, y las secciones cónicas) afirmó axiomáticamente que la media aritmética es la mejor forma de combinar observaciones, invoca el principio de máxima verosimilitud y, a continuación, mostraron que la distribución de la probabilidad de que la probabilidad es maximizada en la media debe ser proporcional a $\exp(-x^2 / (2 \sigma^2))$ (que ahora se llama un "Gaussiano") donde $\sigma$ cuantifica la precisión de las observaciones.
La probabilidad (cuando las observaciones son estadísticamente independientes) es el producto de estos términos de Gauss, la cual, debido a la presencia de la exponencial, es más fácil de maximizar minimizar los efectos negativos de su logaritmo. Hasta una constante aditiva, la negativa de registro del producto es la suma de los cuadrados (todo dividido por una constante de 2 $\sigma^2$, que no afectarán a la minimización). Por lo tanto, incluso históricamente, el método de mínimos cuadrados, íntimamente relacionadas con la probabilidad de cálculos y promedios. Hay un montón de otras moderno justificaciones de los mínimos cuadrados, por supuesto, pero esta derivación mediante Gauss-con la casi mágica aparición de la Gaussiana, que había aparecido por primera vez en 70 años a principios De Moivre del trabajo en las sumas de variables de Bernoulli (el Teorema del Límite Central)--es memorable.
Esta historia fue investigado, y es hábilmente narrada, por Steven Stigler, en su La Historia de las Estadísticas - La Medición de la Incertidumbre antes de 1900 (1986). Aquí simplemente he dado los aspectos más destacados de las partes de los capítulos 1 y 4.
