Interpretación de las variables latentes de los modelos lineales generalizados (MLG)

Question

Versión corta:

Sabemos que la regresión logística y la regresión probit pueden interpretarse como que implican una variable latente continua que se discretiza según algún umbral fijo antes de la observación. ¿Existe una interpretación similar de la variable latente para, por ejemplo, la regresión de Poisson? ¿Y para la regresión binomial (como logit o probit) cuando hay más de dos resultados discretos? En el nivel más general, ¿hay alguna forma de interpretar cualquier MLG en términos de variables latentes?

---

Versión larga:

Una forma estándar de motivar el modelo probit para resultados binarios (por ejemplo, de Wikipedia ) es la siguiente. Tenemos una variable de resultado no observada/latente $Y$ que se distribuye normalmente, condicionado al predictor $X$ . Esta variable latente se somete a un proceso de umbralización, de modo que el resultado discreto que realmente observamos es $u=1$ si $Y \ge \gamma$ , $u=0$ si $Y < \gamma$ . Esto hace que la probabilidad de $u=1$ dado $X$ adopte la forma de una FCD Normal, con media y desviación típica en función del umbral $\gamma$ y la pendiente de la regresión de $Y$ en $X$ respectivamente. Así que el modelo probit está motivado como una forma de estimar la pendiente de esta regresión latente de $Y$ en $X$ .

Esto se ilustra en el gráfico siguiente, de Thissen & Orlando (2001). Estos autores están discutiendo técnicamente el modelo de ojiva normal de la teoría de respuesta al ítem, que se parece bastante a la regresión probit para nuestros propósitos (nótese que estos autores utilizan $\theta$ en lugar de $X$ y la probabilidad se escribe con $T$ en lugar del habitual $P$ ).

Podemos interpretar la regresión logística más o menos de la misma manera . La única diferencia es que ahora el continuo no observado $Y$ sigue a logística distribución, no una distribución normal, dado $X$ . Un argumento teórico de por qué $Y$ pero, dado que la curva logística resultante tiene básicamente el mismo aspecto que la FCD normal a efectos prácticos (después de reescalar), podría decirse que en la práctica no importará mucho el modelo que se utilice. La cuestión es que ambos modelos tienen una interpretación de variable latente bastante sencilla.

Quiero saber si podemos aplicar interpretaciones de variables latentes de aspecto similar (o, demonios, de aspecto diferente) a otros GLM -- o incluso a cualquier GLM.

Incluso ampliando los modelos anteriores para tener en cuenta los resultados binomiales con $n>1$ (es decir, no sólo los resultados Bernoulli) no me queda del todo claro. Presumiblemente se podría hacer imaginando que en lugar de tener un único umbral $\gamma$ si tenemos varios umbrales (uno menos que el número de resultados discretos observados). Pero tendríamos que imponer alguna restricción a los umbrales, como que estén espaciados uniformemente. Estoy bastante seguro de que algo así podría funcionar, aunque no he trabajado en los detalles.

Pasar al caso de la regresión de Poisson me parece aún menos claro. No estoy seguro de si la noción de umbrales va a ser la mejor manera de pensar en el modelo en este caso. Tampoco estoy seguro de qué tipo de distribución podríamos concebir que tiene el resultado latente.

La solución más deseable sería una forma general de interpretar cualquier GLM en términos de variables latentes con unas distribuciones u otras -- incluso si esta solución general implicara un diferente interpretación de la variable latente que la habitual para la regresión logit/probit. Por supuesto, sería aún mejor si el método general coincidiera con las interpretaciones habituales de logit/probit, pero también se extendiera de forma natural a otros MLG.

Pero incluso si tales interpretaciones de variables latentes no están generalmente disponibles en el caso general GLM, también me gustaría escuchar acerca de las interpretaciones de variables latentes de casos especiales como los casos Binomial y Poisson que mencioné anteriormente.

---

Referencias

Thissen, D. & Orlando, M. (2001). Teoría de respuesta al ítem para ítems puntuados en dos categorías. En D. Thissen & Wainer, H. (Eds.), Calificación de las pruebas (pp. 73-140). Mahwah, NJ: Lawrence Erlbaum Associates, Inc.

---

Editar 2016-09-23

Hay una especie de sentido trivial en el que cualquier MLG es un modelo de variable latente, y es que siempre podemos considerar el parámetro de la distribución de resultados que se está estimando como una "variable latente", es decir, no observamos directamente, digamos, el parámetro de la tasa de Poisson, sino que lo inferimos a partir de los datos. Considero que esta es una interpretación bastante trivial, y no es realmente lo que estoy buscando, porque según esta interpretación cualquier modelo lineal (¡y por supuesto muchos otros modelos!) es un "modelo de variable latente". Por ejemplo, en la regresión normal estimamos una "latente" $\mu$ de normal $Y$ dado $X$ . Esto parece confundir la modelización de variables latentes con la mera estimación de parámetros. Lo que estoy buscando, en el caso de la regresión de Poisson por ejemplo, se parecería más a un modelo teórico de por qué el resultado observado debería tener una distribución de Poisson en primer lugar, dadas algunas suposiciones (¡que usted deberá completar!) sobre la distribución de la variable latente. $Y$ el proceso de selección, si lo hay, etc. Entonces (¿quizá sea crucial?) deberíamos poder interpretar los coeficientes estimados del MLG en términos de los parámetros de estas distribuciones/procesos latentes, de forma similar a como podemos interpretar los coeficientes de la regresión probit en términos de desplazamientos de la media en la variable latente normal y/o desplazamientos en el umbral $\gamma$ .

Answer 1

Para los modelos con más de un resultado discreto, existen varias versiones de modelos logit (por ejemplo, logit condicional, logit multinomial, logit mixto, logit anidado, ...). Véase el libro de Kenneth Train sobre el tema: http://eml.berkeley.edu/books/choice2.html

Por ejemplo, en logit condicional, el resultado, $y$ es el coche elegido por un individuo, y puede haber, digamos $J$ coches entre los que elegir y $j$ tiene atributos dados por $x_j$ . Supongamos entonces que el individuo $i$ recibe utilidad $u_{ij} = x_j \beta + \varepsilon_{ij}$ de elegir coche $j$ donde $\varepsilon_{ij}$ es un valor extremo de tipo I distribuido. Entonces la probabilidad de que el coche $j$ viene dado por

$$\Pr(y=j) = \frac{\exp(x_j \beta)}{\sum_{k=1}^J \exp (x_k \beta)}$$

En este modelo, $u_{ij}$ forman un clasificación de las alternativas. Buscamos parámetros, $\beta$ para que esta clasificación se ajuste a las elecciones observadas que vemos que hace la gente. Por ejemplo, si los coches más caros tienen cuotas de mercado más bajas, el coeficiente del precio debe ser negativo.

Los economistas interpretan $u$ como una "utilidad" latente de hacer cada elección. En microeconomía, existe un corpus considerable de trabajos sobre la teoría de la utilidad: véase, por ejemplo https://en.wikipedia.org/wiki/Utility .

Obsérvese que aquí no existe un parámetro "umbral": en lugar de ello, cuando una utilidad sea mayor que la anterior, el consumidor pasará a elegir esa alternativa.

Por lo tanto, no puede haber una intercepción en $x_j \beta$ : si lo hubiera, esto sólo escalaría la utilidad de todas las opciones disponibles, dejando la clasificación preservada y la elección sin cambios.