1 votos

¿Cómo se calculan los coeficientes estimados por mínimos cuadrados ordinarios en un modelo de regresión múltiple?

Hace poco empecé a aprender sobre la estimación OLS de modelos de regresión múltiple y me encontré con las siguientes fórmulas que explican los cálculos:

formulas ¿Cuáles serían las fórmulas para un modelo de regresión MCO con más de dos variables independientes?

Lo pregunto porque estoy intentando hacer una aplicación en JavaScript que realice los cálculos. Alternativamente, sería increíble si alguien supiera de una API libre que podría ser llamado desde JavaScript para calcular OLS regresiones múltiples.

3voto

Nick Russo Puntos 51

Generalmente, esto se consigue (es decir, se simplifica) utilizando la notación matricial. Sea $X$ sea una matriz cuyas filas sean sus datos tales que las columnas sean sus dimensiones. Además, sea $y$ sea un vector de su variable de respuesta y $\beta$ sea un vector de los coeficientes de regresión (es decir, aquello para lo que se está resolviendo).

Añadir una columna de 1's a la parte izquierda de la matriz $X$ para construir lo que se denomina matriz de "diseño". Esto le permite representar sus datos como:

$y = X \beta$

Entonces las ecuaciones normales son:

$X^T y = X^TX \beta$

Y así la solución para los coeficientes es:

$ \hat{\beta}_{OLS}= (X^TX)^{-1} X^T y$

Ahora bien, aunque esta solución analítica existe, a menudo es numéricamente inestable. El tamaño de la matriz $X^TX$ se escala con el cuadrado del número de registros de los datos, por lo que invertirla es problemático (y la matriz suele estar "mal acondicionada", algo que no voy a explicar, pero que básicamente significa que invertirla numéricamente es difícil).

Todo esto es para decir: esta es una forma sencilla de resolver regresiones múltiples, pero probablemente sea mucho mejor utilizar una solución de software mantenida por personas que se preocupan mucho por hacer esto bien y de manera eficiente. He encontrado esta biblioteca que parece que tiene capacidades de regresión, pero creo que sólo está utilizando el proceso que he descrito anteriormente, en cuyo caso podría no ser capaz de lograr regresiones sobre una gran cantidad de datos. Pero usted todavía puede darle una oportunidad y ver si funciona para su caso de uso.

Si usted realmente quieres lanzar la solución tú mismo y las inversiones de matrices te resultan problemáticas, este artículo describe descomposiciones de matrices que te ayudarán a sortear algunos de los problemas que he descrito.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X