$R^2$ en regresión multivariante

Question

Estoy tratando de determinar cómo la población $R^2$ se define en el modelo de regresión multivariante en el que tenemos

$Y_i = \mu_y + B^\prime(X_i - \mu_x) + err$

Dónde $Y_i \in \mathbb{R}^q$ y $X_i \in \mathbb{R}^p$ y $q, p>1$

Answer 1

A todos los efectos, una regresión de este tipo equivale a varias regresiones múltiples independientes. Terminaría con $q$ $R^2$ valores.

Otra forma de verlo, sin embargo, es ver que, para la regresión lineal múltiple, $R^2$ es una comparación entre desviaciones. Véase esta respuesta .

Si especifica que su modelo es una verosimilitud gaussiana multivariante condicional, entonces puede calcular un único $R^2$ (cita de la respuesta antes mencionada):

$$\begin{matrix} \text{Null Deviance} \quad \quad \text{ } \text{ } & & \text{ } D_{TOT} = 2(\hat{\ell}_{S} - \hat{\ell}_0), \\[6pt] \text{Explained Deviance} & & D_{REG} = 2(\hat{\ell}_{p} - \hat{\ell}_0), \\[6pt] \text{Residual Deviance}^\dagger \text{ } & & \text{ } D_{RES} = 2(\hat{\ell}_{S} - \hat{\ell}_{p}). \\[6pt] \end{matrix}$$ En estas expresiones el valor $\hat{\ell}_S$ es la log-verosimilitud maximizada en un modelo saturado (un parámetro por punto de datos), $\hat{\ell}_0$ es la log-verosimilitud maximizada en un modelo nulo (sólo intercepto), y $\hat{\ell}_{p}$ es la log-verosimilitud maximizada según el modelo (término de intercepción y $p$ coeficientes).

En tu caso: $y_{q\times 1} \sim MVN(\beta_{q\times p} X_{p \times 1}, \Sigma_{q\times q})$ . Sea $\hat y = E[y] = \beta x$ . Sea $Y$ sea la concatenación de todos los $y$ y lo mismo para $X$ . Puedes derivar las estimaciones de máxima verosimilitud y calcular lo siguiente:

$$R^2 = 1-\frac{D_{RES}}{D_{TOT}} = 1-\frac{(\hat{\ell}_{S} - \hat{\ell}_{p})}{(\hat{\ell}_{S} - \hat{\ell}_0)}$$