La distribución de $- \log f_X(X)$

Question

Diga, $X \in \mathbb {R}^n$ (con $n > 1$ ) tiene una densidad $f_X(x)$ . ¿Qué podemos decir sobre la distribución de $$ Y = - \log f_X(X)? $$

Answer 1

El libro mencionado por Xi'an es de 2004. Se refiere a un artículo del año 1991 en el que aparece el siguiente teorema.

De: Troutt M.D. 1991 Un teorema sobre la densidad de la ordenada densidad y una interpretación alternativa del Box-Muller método

Si una variable aleatoria X tiene una densidad $f(x)$ , $x \in \mathbb {R}^n$ y si la variable aleatoria $v = f(x)$ tiene una densidad $g(v)$ Entonces $$g(v) = -vA^ \prime (v),$$ donde $A(v)$ es la medida de Lebesgue del conjunto $$S(v) = \lbrace x: f(x) \geq v \rbrace $$

Intuitiva y no formal: $$ \begin {array} \\ f_Z(z) dz = P(z<Z<z+dz) &= P(x(z)<X<x(z+dz)) \\ &= P(x(z)<X<x(z)+dz \frac {dx}{dz}) \\ &= f_X(X) \frac {dx}{dz} dz = z \frac {-dA(z)}{dz} dz \end {array}$$

De manera similar cuando usamos una variable transformada $Y = g(f_x(x))$ entonces:

$$ \begin {array} \\ f_Y(y) dy = P(y<Y<y+dy) &= P(x(y)<X<x(y+dy)) \\ &= P(x(y)<X<x(y)+dy \frac {dx}{dy}) \\ &= f_X(X) \frac {dx}{dy} dy = g^{-1}(y) \frac {-dA(y)}{dy} dy \end {array}$$

Así que

$$f_Y(y) = -e^{-y} \frac {A(y)}{dy}$$

---

ejemplo de distribución normal estándar:

$$f_X(x) = \frac {1}{ \sqrt {2 \pi }} e^{-0.5 x^2}$$

$$y = \log ( \sqrt {2 \pi }) + 0.5 x^2$$

$$A(y) = C- \sqrt {8(y- \log ( \sqrt {2 \pi }))} $$

así

$$f_Y(y) = \frac { \sqrt {2} e^{-y}}{ \sqrt {y- \frac { \log (2 \pi )}{2}}} $$

---

ejemplo una distribución normal multivariable:

$$f_X(x_1,x_2) = \frac {1}{2 \pi } e^{-0.5 (x_1^2 + x_2^2)}$$

$$y = \log (2 \pi ) + 0.5 (x_1^2+x_2^2)$$

$$A(y) = C-2 \pi (y- \log (2 \pi )) $$

así

$$f_Y(y) = 2 \pi e^{-y} \qquad \qquad \text {for $ y \geq log(2 \pi ) $}$$

comprobación computacional:

# random draws/simulation
x_1 = rnorm(100000,0,1)
x_2 = rnorm(100000,0,1)
y = -log(dnorm(x_1,0,1)*dnorm(x_2,0,1))

# display simulation along with theoretic curve
hist(y,breaks=c(0,log(2*pi)+c(0:(max(y+1)*5))/5),
     main = "computational check for distribution f_Y")
y_t <- seq(1,10,0.01)
lines(y_t,2*pi*exp(-y_t),col=2)