¿Por qué la familia exponencial no incluye todas las distribuciones?

Question

Estoy leyendo el libro:

Bishop, Reconocimiento de patrones y aprendizaje automático (2006)

que define la familia exponencial como distribuciones de la forma (Ec. 2.194): $$ p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} $$ Pero no veo ninguna restricción $h(\mathbf x)$ o $\mathbf u(\mathbf x)$ . ¿No significa esto que cualquier se puede poner en esta forma, mediante la elección adecuada de $h(\mathbf x)$ y $\mathbf u(\mathbf x)$ (¡de hecho sólo hay que elegir bien uno de ellos!)? Entonces, ¿cómo es que la familia exponencial no incluye todos ¿distribuciones de probabilidad? ¿Qué me falta?

Por último, una cuestión más particular que me interesa es la siguiente: ¿Está la distribución Bernoulli en la familia exponencial ? Wikipedia afirma que sí, pero como es evidente que algo me confunde, me gustaría saber por qué.

Answer 1

Consideremos la distribución no central de Laplace $$ f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right). $$

A menos que $\mu = 0$ no podrás escribir $|x - \mu|$ como producto interior entre $\mu$ y alguna función de $x$ .

La familia exponencial incluye la gran mayoría de las distribuciones con nombres bonitos que encontramos habitualmente, por lo que a primera vista puede parecer que lo tiene todo de interés, pero no es en absoluto exhaustiva.

Answer 2

En primer lugar, observe que hay un problema terminológico en su título: la familia exponencial parece implicar un familia exponencial. Debería decir una familia exponencial hay muchos familias exponenciales.

Bueno, una consecuencia de tu definición: $$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$$ es que el soporte de la familia de distribuciones indexada por el parámetro $\eta$ no dependen de $\eta$ . (El soporte de una distribución de probabilidad es el (cierre del) mínimo conjunto con probabilidad uno, o lo que es lo mismo, donde vive la distribución .) Así que basta con dar un contraejemplo de una familia de distribuciones con soporte dependiente del parámetro, el ejemplo más fácil es la siguiente familia de distribuciones uniformes: $ \text{U}(0, \eta), \quad \eta > 0$ . (la otra respuesta de @Chaconne ofrece un contraejemplo más sofisticado).

Otra razón, no relacionada, por la que no todas las distribuciones son de familia exponencial, es que una distribución de familia exponencial siempre tienen una función generadora de momentos existente. No todas las distribuciones tienen una fgm.

Answer 3

Las dos respuestas existentes son buenas, pero sólo para tratar de añadir un poco de intuición acerca de lo que está pasando aquí.

La ecuación que has escrito define cómo hacer una familia exponencial de distribuciones. Fijando $h$ , $g$ y $u$ le dará un conjunto de distribuciones que tienen el parámetro $\eta$ . La elección correcta de $h$ , $g$ y $u$ le dará la familia Normal con $\eta = (\mu, \sigma^2)$ . Así pues, existe un número infinito de familias exponenciales, un número finito de las cuales tienen nombre (Normal, Dirichlet, Poisson, ...)

Tienes razón en que cualquier específico será de una familia exponencial. La cuestión es encontrar $h$ , $g$ y $u$ de tal manera que cubra completamente a otra familia "tradicional". Así, por ejemplo, la familia de la distribución t no es una familia exponencial, pero cualquier realización específica de la distribución t estará en una familia exponencial. Por ejemplo, una t de 5 grados de libertad centrada en cero con escala 1 puede ponerse en la forma de la familia exponencial de infinitas maneras. Sin embargo, ninguna otra distribución t estará ahora en esa familia exponencial que has hecho. Es algo así como un reloj parado acierta dos veces al día.

La parte que suele fallar algebraicamente si se intenta escribir estas distribuciones como familia exponencial es que para que sean útiles hay que poder escalar y desplazar $x$ según sus parámetros. $h$ no sirve porque no contiene el parámetro, y $g$ es inútil porque sólo multiplica el pdf entero hacia arriba y hacia abajo - sólo está normalizando. Eso sólo deja el producto en la exponencial - y no se le permite aplicar ninguna función después de ella. En mi ejemplo t(5) el pdf es algo como

$$f(x) \propto \left( 1 + \frac{x^2}{5}\right)^{-3} = \exp\left(-3 \ln\left(1+\frac{x^2}{5}\right)\right)$$

No se puede llegar "dentro" de ese $\ln$ así que lo único que realmente puedes hacer es decir hacer una familia donde el 3 cambie, pero eso ni siquiera es cambiar el d.o.f. porque el 5 dentro del $\ln$ no está cambiando. Así que he hecho una nueva (bastante tonta) familia exponencial que contiene una distribución t, pero nunca puedo conseguir que todas estén en la misma familia, además también cojo un montón de distribuciones raras que no son t.