Regresiones lineales con coeficientes similares

Question

Si se tienen múltiples variables dependientes similares para las que se quieren ajustar regresiones lineales

y1 = c11*x1 + c10 + e1
y2 = c21*x2 + c20 + e2
y3 = c31*x3 + c30 + e3

se pueden estimar las regresiones por separado para y1, y2, y3 o se pueden agrupar los datos de y1, y2, y3 y estimar una única regresión. Esto obliga a que c11=c21=c31 y c10=c20=c30. Un término medio es estimar las regresiones por separado pero con penalizaciones en la varianza de [c11 c21 c21] y [c10 c20 c30]. Cuanto mayores sean las penalizaciones, más se acercará a una regresión conjunta.

¿Tiene este modelo un nombre? ¿Hay que utilizar la validación cruzada para determinar el tamaño de las penalizaciones de la varianza?

Answer 1

Este es un enfoque que podría adoptar, que se basa en la regresión de cresta.

En primer lugar, agrupa todos los datos y luego crea variables ficticias $d_1$ a $d_3$ para representar de qué muestra procede una determinada fila. A continuación, ejecute una regresión de cresta con los siguientes coeficientes:

$y = c_{\_1}x + c_{11}d_1x + c_{21}d_2x + c_{31}d_3x + c_{\_0} + c_{10}d_1 + c_{20}d_2 + c_{30}d_3 + e$

En este modelo, el $c_{.1}$ Los coeficientes representan la diferencia entre la pendiente global $c_{\_1}$ y las pendientes específicas de la muestra. Si éstas se regularizan a cero, las muestras sólo tendrán la pendiente global. La página web $c_{.0}$ Los coeficientes representan la diferencia entre el intercepto global $c_{\_0}$ y los interceptos específicos de la muestra. Una regresión de cresta pone una penalización en el $l_2$ norma (es decir, la varianza) de los coeficientes. Ponemos la penalización en todos los coeficientes excepto $c_{\_1}$ y $c_{\_0}$ porque lo que nos interesa es regularizar las desviaciones de estos coeficientes globales en lugar de los propios coeficientes globales.

Así, nuestra función de pérdida de regresión de cresta se ve así:

$L =\frac{1}{n}\sum_{i}^n{(y - c_{\_1}x - c_{11}d_1x - c_{21}d_2x - c_{31}d_3x - c_{\_0} - c_{10}d_1 - c_{20}d_2 - c_{30}d_3)^2} + \lambda (c_{11}^2+c_{21}^2+c_{31}^2+c_{10}^2+c_{20}^2+c_{30}^2)$

Se eligen los valores de los coeficientes que minimizan $L$ para un valor determinado de $\lambda$ que puede elegir mediante diversos métodos. Por último, puede obtener las pendientes e interceptos específicos de la muestra sumando la pendiente y el intercepto globales a la pendiente y el intercepto específicos de cada muestra.