¿Por qué la regresión Beta/Dirichlet no se considera un modelo lineal generalizado?

Question

La premisa es esta cita de la viñeta del paquete R betareg 1 .

Además, el modelo comparte algunas propiedades (como la linealidad predictor, función de enlace, parámetro de dispersión) con el generalizados (GLMs; McCullagh y Nelder 1989), pero no es un caso especial de este marco (ni siquiera para la dispersión fija)

Esta respuesta también hace alusión al hecho:

[...] Este es un tipo de modelo de regresión que es apropiado cuando el variable de respuesta se distribuye como Beta. Se puede pensar en él como análogo a un modelo lineal generalizado. Es exactamente lo que está buscando [...] (el énfasis es mío)

El título de la pregunta lo dice todo: ¿por qué la regresión Beta/Dirichlet no se consideran modelos lineales generalizados (no lo son)?

---

Hasta donde yo sé, el Modelo Lineal Generalizado define modelos construidos sobre la expectativa de sus variables dependientes condicionadas a las independientes.

$f$ es la función de enlace que mapea la expectativa, $g$ es una distribución de probabilidad, $Y$ los resultados y $X$ los predictores, $\beta$ son parámetros lineales y $\sigma^2$ de la varianza.

$$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$$

Diferentes GLMs imponen (o relajan) la relación entre la media y la varianza, pero $g$ debe ser una distribución de probabilidad de la familia exponencial, una propiedad deseable que debería mejorar la robustez de la estimación si no recuerdo mal. Sin embargo, las distribuciones Beta y Dirichlet forman parte de la familia exponencial, así que me he quedado sin ideas.

---

[1] Cribari-Neto, F., & Zeileis, A. (2009). Regresión beta en R.

Answer 1

Compruebe la referencia original:

Ferrari, S., y Cribari-Neto, F. (2004). Regresión beta para la modelización tasas y proporciones. Journal of Applied Statistics, 31(7), 799-815.

como señalan los autores, los parámetros de la distribución beta re-parametrizada están correlacionados, por lo que

Tenga en cuenta que los parámetros $\beta$ y $\phi$ no son ortogonales, en a diferencia de lo que se verifica en la clase de modelos de regresión lineal generalizada modelos de regresión generalizada (McCullagh y Nelder, 1989).

Por lo tanto, aunque el modelo parece un MLG y grazna como un MLG, no se ajusta perfectamente al marco.

Answer 2

La respuesta de @probabilityislogic va por buen camino.

La distribución beta está en el familia exponencial de dos parámetros . Los modelos GLM simples descritos por Nelder y Wedderburn (1972) no incluyen todas las distribuciones de la familia exponencial de dos parámetros.

En términos del artículo de N&W, el GLM se aplica a las funciones de densidad del siguiente tipo (posteriormente se denominó familia de dispersión exponencial en Jørgensen 1987 ):

$$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$$

con una función de enlace adicional $f()$ y el modelo lineal para el parámetro natural $\theta = f(\mu) = f(X\beta)$ .

---

Así que podríamos reescribir la distribución anterior también:

$$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$$

La familia exponencial de dos parámetros es:

$$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$$

que parece similar pero más general (también si uno de los $\theta$ es constante).

---

La diferencia es clara, y además poner la distribución beta en forma de GLM no es posible.

Sin embargo, carezco de conocimientos suficientes para crear una respuesta más intuitiva y bien informada (tengo la sensación de que puede haber relaciones mucho más profundas y elegantes con una variedad de principios fundamentales). El MLG generaliza la distribución del error utilizando una única variable modelo de dispersión exponencial en lugar de un modelo de mínimos cuadrados y generaliza la relación lineal en la media, utilizando una función de enlace.

La mejor y más sencilla intuición parece ser la dispersión. $\alpha(\phi)$ -en la exponencial, que se multiplica con todo y así la dispersión no varía con $\theta$ . Mientras que varias familias exponenciales de dos parámetros, y los métodos de cuasi-verosimilitud, permiten que el parámetro de dispersión sea una función de $\theta$ también.

Answer 3

No creo que la distribución beta sea parte de la familia de dispersión exponencial . Para conseguirlo, hay que tener una densidad

$$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$$

para funciones específicas $c ()$ y $d ()$ . La media viene dada por $c'(\theta)$ y la varianza viene dada por $\tau c''(\theta)$ . El parámetro $\theta$ se denomina parámetro canónico.

La distribución beta no se puede escribir de esta manera - una forma de ver esto es observando que no hay $y$ término en el logaritmo de la probabilidad - tiene $\log [y]$ y $\log [1-y]$ en cambio

$$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$$

Otra forma de ver que beta no es una familia de dispersión exponencial es que puede escribirse como $y=\frac {x}{x+z}$ donde $x$ y $z$ son independientes y ambas siguen distribuciones gamma con el mismo parámetro de escala (y la gamma es de familia exponencial).