¿Qué significa "ajustar" algo mediante mínimos cuadrados?

Question

Digamos que tengo las combinaciones lineales

$$Z_m = \sum_{j = 1}^p \phi_{jm} X_j$$

para algunas constantes $\phi_{1m}, \phi_{2m}, \dots, \phi_{pm}$ , $m = 1, \dots, M$ . Se dice entonces que podemos "ajustar" el modelo de regresión lineal

$$y_i = \theta_0 + \sum_{m = 1}^M \theta_m z_{im} + \epsilon_i, \ \ \ i = 1, \dots, n,$$

utilizando mínimos cuadrados.

Aunque no tengo experiencia en estadística, sé lo que son la regresión y los mínimos cuadrados (desde una perspectiva matemática). Sin embargo, me cuesta conciliar mis conocimientos con lo que significa "ajustar" el modelo de regresión lineal mediante mínimos cuadrados, como se ha descrito anteriormente. ¿Qué significa "ajustar" algo utilizando los mínimos cuadrados, como en el ejemplo anterior?

Answer 1

Ajustar el modelo por mínimos cuadrados" significa que suponemos que la pérdida cuadrática

$$ \mathcal{L}(\theta) = \sum_i ( y_i - (\theta_0 + \sum_{m = 1}^M \theta_m z_{im}) )^2 $$

y buscamos su mínimo para encontrar las estimaciones de los parámetros

$$ \operatorname{arg\,min}_\theta \mathcal{L}(\theta) $$

Con la regresión lineal, esto puede hacerse aplicando el álgebra lineal mediante mínimos cuadrados ordinarios , mientras que para otros modelos se utilizaría algún algoritmo de optimización para encontrar el mínimo.

"Ajustar" significa "encontrar los parámetros". Es "ajustar" porque buscamos los parámetros que hacen que el modelo "se ajuste" mejor a los datos.

Answer 2

En realidad, suponiendo que se esté realizando, al menos en parte, un ejercicio de exploración del modelo, como el que implica especificar la mejor forma del modelo, las posibles variables explicativas, las transformaciones de los datos en esas variables (para abordar la normalidad y la homogeneidad de la varianza del error, etc.) e incluso el número de variables, un ejercicio de "ajuste", se produce comúnmente en el contexto de los mínimos cuadrados por pasos, por ejemplo. Este último proceso puede describirse, en mi opinión y en la de otros, como una especie de arte, en contraposición a la ciencia pura. En un artículo de referencia en el que se emplea el término empírico (cuyo definición incluye "basarse únicamente en la experiencia o la observación, a menudo sin tener debidamente en cuenta el sistema y la teoría"), por citar:

Los métodos escalonados suelen aparecer en artículos de revistas de base empírica

Así que, en mi opinión, la connotación de la palabra "ajuste", como método gradual relacionado con el trabajo de base empírica, es aplicable, en ocasiones. Sin embargo, hay casos especiales válidos en los que simplemente se actualizan los coeficientes de un modelo previamente postulado y probado. Además, en tiempos más recientes, con el acceso a algoritmos que permiten el análisis numérico y estadístico avanzado (como el análisis de regresión basado en PCA, la regresión factorial, y esto se discute en un artículo de 2016 Regresión por etapas y todos los subconjuntos posibles Regresión en educación ) desarrollar buenos modelos con buenas variables explicativas es menos un arte y más una ciencia.

Sin embargo, también añadiría en mi opinión que se recomienda una base de conocimientos para el importante aspecto de especificar la mejor forma del modelo en sí (no sólo basarse en el examen de las métricas de bondad de ajuste) para que sirva de fundamento sólido en el contexto apropiado de la física, la química física,..., en cuanto a por qué una forma de modelo propuesta es, de hecho, conceptualmente apropiada.