Regresión lineal multivariante frente a varios modelos de regresión univariante

Question

En la configuración de la regresión univariante, tratamos de modelar

$$y = X\beta +noise$$

donde $y \in \mathbb{R}^n$ un vector de $n$ observaciones y $X \in \mathbb{R}^{n \times m}$ la matriz de diseño con $m$ predictores. La solución es $\beta_0 = (X^TX)^{-1}Xy$ .

En la configuración de la regresión multivariante, tratamos de modelar

$$Y = X\beta +noise$$

donde $y \in \mathbb{R}^{n \times p}$ es una matriz de $n$ observaciones y $p$ diferentes variables latentes. La solución es $\beta_0 = (X^TX)^{-1}XY$ .

Mi pregunta es en qué se diferencia eso de realizar $p$ ¿una regresión lineal univariante diferente? Leo aquí que en este último caso se tenga en cuenta la correlación entre las variables dependientes, pero no lo veo por las matemáticas.

Answer 1

En el entorno de la regresión lineal multivariante clásica, tenemos el modelo

$$Y = X \beta + \epsilon$$

donde $X$ representa las variables independientes, $Y$ representa variables de respuesta múltiples, y $\epsilon$ es un término de ruido gaussiano i.i.d. El ruido tiene media cero y puede estar correlacionado entre las variables de respuesta. La solución de máxima verosimilitud para los pesos es equivalente a la solución de mínimos cuadrados (independientemente de las correlaciones de ruido) [1][2]:

$$\hat{\beta} = (X^T X)^{-1} X^T Y$$

Esto equivale a resolver independientemente un problema de regresión para cada variable de respuesta. Esto puede verse en el hecho de que el $i$ columna de $\hat{\beta}$ (que contiene los pesos para el $i$ de la variable de salida) se puede obtener multiplicando $(X^T X)^{-1} X^T$ por el $i$ columna de $Y$ (que contiene los valores del $i$ de la variable de respuesta).

Sin embargo, la regresión lineal multivariante difiere de la resolución por separado de los problemas de regresión individuales porque los procedimientos de inferencia estadística tienen en cuenta las correlaciones entre las múltiples variables de respuesta (por ejemplo, véase [2],[3],[4]). Por ejemplo, la matriz de covarianza del ruido aparece en las distribuciones de muestreo, los estadísticos de prueba y las estimaciones de intervalo.

Otra diferencia surge si permitimos que cada variable de respuesta tenga su propio conjunto de covariables:

$$Y_i = X_i \beta_i + \epsilon_i$$

donde $Y_i$ representa el $i$ la variable de respuesta, y $X_i$ y $\epsilon_i$ representa su correspondiente conjunto de covariables y término de ruido. Como en el caso anterior, los términos de ruido pueden estar correlacionados entre las variables de respuesta. En este entorno, existen estimadores que son más eficientes que los mínimos cuadrados, y no pueden reducirse a resolver problemas de regresión separados para cada variable de respuesta. Por ejemplo, véase [1].

Referencias

1. Zellner (1962) . Un método eficiente para estimar regresiones aparentemente no relacionadas y pruebas de sesgo de agregación.
2. Helwig (2017) . Regresión lineal multivariante [Diapositivas]
3. Fox y Weisberg (2011) . Multivariate linear models in R. [Appendix to: An R Companion to Applied Regression].
4. Maitra (2013) . Modelos de regresión lineal multivariante. [Diapositivas]