Diferentes transformaciones de la densidad de probabilidad debidas al factor jacobiano

Question

En Bishop's Reconocimiento de patrones y aprendizaje automático Leo lo siguiente, justo después de la densidad de probabilidad $p(x\in(a,b))=\int_a^bp(x)\textrm{d}x$ se presentó:

Bajo un cambio de variable no lineal, una probabilidad de forma diferente a una función simple, debido al factor Jacobiano. En ejemplo, si consideramos un cambio de variables $x = g(y)$ , función $f(x)$ se convierte en $\tilde{f}(y) = f(g(y))$ . Consideremos ahora una densidad de probabilidad $p_x(x)$ que corresponde a una densidad $p_y(y)$ con respecto a la nueva variable $y$ , donde los sufces de hecho de que $p_x(x)$ y $p_y(y)$ son densidades diferentes. [ ] comprendidas en el intervalo $(x, x + \delta x)$ para valores pequeños de o $\delta x$ se transformará en el intervalo $(y, y + \delta y$ ) $p_x(x)\delta x \simeq p_y(y)y$ y, por tanto $p_y(y) = p_x(x) |\frac{dx}{dy}| = p_x(g(y)) | g\prime (y) |$ .

¿Qué es el factor jacobiano y qué significa exactamente todo esto (quizá cualitativamente)? Bishop dice que una consecuencia de esta propiedad es que el concepto de máximo de una densidad de probabilidad depende de la elección de la variable. ¿Qué significa esto?

A mí todo esto me viene un poco de sopetón (teniendo en cuenta que está en el capítulo de introducción). Agradecería alguna pista, ¡gracias!

Answer 1

Le sugiero que lea la solución de la pregunta 1.4 que proporciona una buena intuición.

En pocas palabras, si tienes una función arbitraria $ f(x) $ y dos variables $x$ y $y$ que están relacionados entre sí por la función $x = g(y)$ se puede hallar el máximo de la función analizando directamente $f(x)$ : $ \hat{x} = argmax_x(f(x)) $ o la función transformada $f(g(y))$ : $\hat{y} = argmax_y(f(g(y))$ . No es de extrañar, $\hat{x}$ y $\hat{y}$ se relacionarán entre sí como $\hat{x} = g(\hat{y})$ (aquí supuse que $\forall{y}: g^\prime(y)\neq0)$ .

Este no es el caso de las distribuciones de probabilidad. Si tenemos una distribución de probabilidad $p_x(x)$ y dos variables aleatorias relacionadas entre sí por $x=g(y)$ . Entonces no hay relación directa entre $\hat{x} = argmax_x(p_x(x))$ y $\hat{y}=argmax_y(p_y(y))$ . Esto sucede debido al factor Jacobiano, un factor que muestra cómo cambia relativamente el volumen por una función como $g(.)$ .