Comprobación de la igualdad de los coeficientes de dos regresiones diferentes

Question

Parece una cuestión básica, pero acabo de darme cuenta de que en realidad no sé cómo probar la igualdad de los coeficientes de dos regresiones diferentes. ¿Puede alguien arrojar algo de luz sobre esto?

De manera más formal, supongamos que realizamos las dos regresiones siguientes: $$ y_1 = X_1\beta_1 + \epsilon_1 $$ y $$ y_2 = X_2\beta_2 + \epsilon_2 $$ donde $X_i$ se refiere a la matriz de diseño de la regresión $i$ y $\beta_i$ al vector de coeficientes de la regresión $i$ . Tenga en cuenta que $X_1$ y $X_2$ son potencialmente muy diferentes, con diferentes dimensiones, etc. Me interesa, por ejemplo, si $\hat\beta_{11} \neq \hat\beta_{21}$ .

Si estos provienen de la misma regresión, esto sería trivial. Pero como provienen de otras diferentes, no sé muy bien cómo hacerlo. ¿Alguien tiene una idea o puede darme algunas indicaciones?

Mi problema en detalle: Mi primera intuición fue mirar los intervalos de confianza, y si se superponen, entonces diría que son esencialmente los mismos. Sin embargo, este procedimiento no viene con el tamaño correcto de la prueba (es decir, cada intervalo de confianza individual tiene $\alpha=0.05$ , digamos, pero si se miran conjuntamente no tendrán la misma probabilidad). Mi "segunda" intuición fue realizar una prueba t normal. Es decir, tomar

$$ \frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})} $$

donde $\beta_{21}$ se toma como valor de mi hipótesis nula. Esto no tiene en cuenta la incertidumbre de la estimación de $\beta_{21}$ Sin embargo, la respuesta puede depender del orden de las regresiones (que yo llamo 1 y 2).

Mi tercera idea era hacerlo como en una prueba estándar de igualdad de dos coeficientes de la misma regresión, es decir, tomar $$ \frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})} $$

La complicación se debe a que ambos provienen de regresiones diferentes. Obsérvese que

$$ Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21}) $$ pero como son de diferentes regresiones, ¿cómo podría obtener $Cov(\beta_{11},\beta_{21})$ ?

Esto me llevó a plantear esta pregunta aquí. Debe ser un procedimiento estándar/prueba estándar, pero no he encontrado nada lo suficientemente parecido a este problema. Así que, si alguien puede indicarme el procedimiento correcto, le estaría muy agradecido.

Answer 1

Aunque no es un análisis común, es realmente interesante. La respuesta aceptada se ajusta a la forma en que has formulado tu pregunta, pero voy a proporcionar otra técnica razonablemente bien aceptada que puede o no ser equivalente (dejaré que mentes más brillantes lo comenten).

Este enfoque consiste en utilizar la siguiente prueba Z:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Donde $SE\beta$ es el error estándar de $\beta$ .

Esta ecuación es proporcionada por Clogg, C. C., Petkova, E., & Haritou, A. (1995). Métodos estadísticos para comparar los coeficientes de regresión entre modelos. Revista Americana de Sociología , 100 (5), 1261-1293. y es citado por Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998). Utilización de la prueba estadística correcta para la igualdad de los coeficientes de regresión. Criminología , 36 (4), 859-866. ecuación 4, que está disponible libre de un muro de pago. He adaptado la fórmula de Peternoster para utilizar $\beta$ en lugar de $b$ porque es posible que te interesen diferentes VD por alguna horrible razón y mi recuerdo de Clogg et al. era que su fórmula utilizaba $\beta$ . También recuerdo haber cotejado esta fórmula con la de Cohen, Cohen, West y Aiken, y la raíz del mismo pensamiento se encuentra allí en el intervalo de confianza de las diferencias entre coeficientes, ecuación 2.8.6, pg 46-47.

Answer 2

Para las personas que tengan una pregunta similar, permítanme dar un simple resumen de la respuesta.

El truco consiste en plantear las dos ecuaciones como un sistema de ecuaciones aparentemente no relacionadas y estimarlas conjuntamente. Es decir, apilamos $y_1$ y $y_2$ encima, y haciendo más o menos lo mismo con la matriz de diseño. Es decir, el sistema a estimar es:

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right) $

Esto dará lugar a una matriz de varianza-covarianza que permite comprobar la igualdad de los dos coeficientes.

Answer 3

• Cuando las regresiones provienen de dos muestras diferentes, se puede suponer: $Var(\beta_1-\beta_2)=Var(\beta_1)+Var(\beta_2)$ lo que lleva a la fórmula proporcionada en otra respuesta.

• Pero su pregunta estaba precisamente relacionada con el caso cuando $covar(\beta_1,\beta_2) \neq 0$ . En este caso, las ecuaciones aparentemente no relacionadas parecen el caso más general. Sin embargo, proporcionará coeficientes diferentes a los de las ecuaciones originales, lo que puede no ser lo que se busca.

• (Clogg, C. C., Petkova, E., & Haritou, A. (1995). Métodos estadísticos para comparar los coeficientes de regresión entre modelos. American Journal of Sociology, 100(5), 1261-1293.) presenta una respuesta en el caso especial de las ecuaciones anidadas (es decir, para obtener la segunda ecuación, hay que considerar la primera ecuación y añadir algunas variables explicativas) Dicen que es fácil de aplicar.

• Si lo entiendo bien, en este caso especial también se puede aplicar una prueba de Haussman. La diferencia clave es que su prueba considera como verdadera la segunda ecuación (completa), mientras que la prueba de Haussman considera como verdadera la primera ecuación.

• Obsérvese que Clogg et al (1995) no es adecuado para datos de panel. Pero su prueba ha sido generalizada por (Yan, J., Aseltine Jr, R. H., & Harel, O. (2013). Comparación de los coeficientes de regresión entre modelos lineales anidados para datos agrupados con ecuaciones de estimación generalizadas. Journal of Educational and Behavioral Statistics, 38(2), 172-189.) con un paquete proporcionado en R: geepack Véase: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

Y (para el paquete R): https://cran.r-project.org/web/packages/geepack/index.html