Transformación de distribuciones arbitrarias en distribuciones en $[0,1]$

Question

Estaba leyendo el libro de Robert Serfling de 1980 "Approximation Theorems of Mathematical Statistics" y me encontré con la siguiente construcción de la desigualdad Dvoretzky-Kiefer-Wolfowitz para distribuciones arbitrarias $F$ que DKW demuestra para distribuciones en $[0,1]$ .

Dada la independencia $X_i$ con d.f. F y definidos en un espacio de probabilidad común, se puede construir una $[0,1]$ variados $Y_i$ tal que $\mathbf{P}[X_i = F^{-1}(Y_i)] =1,\forall i$ .

¿Por qué? ¿Es esto cierto para distribuciones arbitrarias (incluidas las discontinuas)?

En segundo lugar,

Dejemos que $G$ denotan el uniforme $[0,1]$ distribución y $G_n$ la función de distribución muestral del $Y_i$ s. Entonces $F(x)=G(F(x))$ y con probabilidad $1$ , $F_n(x) = G_n(F(x))$ .

¿Por qué?

Ahora no entiendo las funciones cuantílicas tan bien como me gustaría, y por eso estoy teniendo algunos problemas para seguir estos argumentos.

Edición: Todo esto está en la página 59 del libro.

---

whuber, muchas gracias por su atenta respuesta. Se agradece. La respuesta a mi pregunta se encuentra, efectivamente, en el último párrafo de su respuesta.

Lo que me despista es el siguiente ejemplo, que he recreado a partir del libro "Probability for Statisticians" de Galen Shorack (página 111). Aquí, la medida de Lebesgue del conjunto $[X\neq F^{-1}Y]$ no es cero. ¿Está de acuerdo? Me refiero a los puntos del intervalo $(2,3)$ y en $(3,3.5)$ para los que la transformación inversa no devuelve ningún punto. Gracias de nuevo por investigar esto.

\documentclass[a4paper]{article}
% Graphics
\usepackage{graphics}
\usepackage{graphicx}
\usepackage{pstricks}
\usepackage{pst-plot}
\usepackage{pstricks-add}
\usepackage{epstopdf}
\begin{document}

% An arbitrary CDF
\begin{figure}[htbp]
\begin{center}
\begin{psgraph}[arrows=<->](0,0)(-1.5,-.3)(6,1.2){.5\textwidth}{2.5cm}
    \psplot[algebraic, linecolor=black]{-1}{1}{.025*x^2+.1*x+.175} % {this goes from .1 --> .3}
    \psplot[algebraic, linecolor=black]{1}{2}{-.1*x^2+.4*x+.1}  % {this goes form .4 --> .5}
    \psline[linecolor=black](2,.5)(3,.5)  % this stays at .5
    \psline[linecolor=black](3,.6)(3.5,.6)  % this stays at .6
    \psplot[algebraic, linecolor=black]{3.5}{5}{  -0.1333*(x-5)^2+.9}  % this goes from .6 --> .9
    \psdots[dotstyle=*](3,.6)(1,0.4)
     \end{psgraph}
\end{center}
\caption{Arbitrary CDF with discontinuities and flat sections}
\label{fig:cdf}
\end{figure}

% The quantile function
\begin{figure}[htbp]
\begin{center}
\begin{psgraph}[arrows=<->](0,0)(-.3, -1.5)(1.2, 6){2cm}{5cm}
% inverses using the Matlab finverse symbolic toolbox function
\psplot[algebraic, linecolor=black]{.1}{.3}{20*(x/10 - 3/400)^(1/2) - 2} 
\psline[linecolor=black](.3, 1)(.4, 1)  
\psplot[algebraic, linecolor=black]{.4}{.5}{-((x-0.5)/(-0.1))^(0.5)+2}  
\psline[linecolor=black](.5, 3)(.6, 3)
\psplot[algebraic, linecolor=black]{.6}{.9}{-((x-.9)/(-0.1333))^(0.5)+5}
\psdots[dotstyle=*](.6, 3)(.5, 2)
\end{psgraph}
\end{center}
\caption{Quantile function of CDF in figure (\protect \ref{fig:cdf})}
\label{fig:qf}
\end{figure}
\end{document}

PS. I could not use the comment box for the reply as I needed to use the `<code`> ambiente.

Answer 1

Esto es simplemente decir que $F(x) = \Pr[X \le x] = \Pr[F(X) \le F(x)]$ que es exactamente lo que significa para $F(X)$ para tener una distribución uniforme.

Bien, vayamos un poco más despacio.

Para las distribuciones continuas, olvidemos por un momento que la FCD $F$ es una FCD y piensa en ella como una forma no lineal de reexpresar los valores de $X$ . De hecho, para dejar clara la distinción, supongamos que $G$ es cualquier forma monótona creciente de reexpresar $X$ . Sea $Y$ sea el nombre de su valor reexpresado. $G^{-1}$ por definición, es la "transformada posterior": expresa $Y$ de vuelta en términos del original $X$ .

¿Cuál es la distribución de $Y$ ? Como siempre, lo descubrimos eligiendo un valor arbitrario que $Y$ podría tomar, digamos $y$ y pedir la posibilidad de que $Y$ es menor o igual que $y$ . Transforme esta pregunta en términos de la forma original de expresar $X$ : estamos indagando sobre la posibilidad de que $X$ es menor o igual que $x = G^{-1}(y)$ . Ahora toma $G$ para ser $F$ y recuerda que $F$ es la FCD de $X$ por definición, la posibilidad de que $X$ es menor o igual que cualquier $x$ es $F(x)$ . En este caso,

$$F(x) = F(G^{-1}(y)) = F(F^{-1}(y)) = y.$$

Hemos establecido que la FCD de $Y$ es $\Pr[Y \le y] = y$ la distribución uniforme en $[0,1]$ .

Puede ser útil verlo gráficamente. Dibuja el gráfico de $F$ . Como $X$ se extiende sobre los reales, $F$ oscila entre $0$ y $1$ . La función $F$ se construye específicamente para que la distribución de $F(x)$ es uniforme. Es decir, si quieres elegir un valor aleatorio para $X$ , elija una uniformemente valor aleatorio a lo largo del eje Y entre $0$ y $1$ y encontrar el valor de $X$ donde $F(X)$ es igual a esa altura aleatoria.

En el caso continuo tenemos $X = F^{-1}(Y)$ tan claramente $\Pr[X = F^{-1}(Y)] = 1$ . En el caso discontinuo tampoco hay dificultad, siempre que definamos $F^{-1}$ adecuadamente. Pero si hay un salto en $X$ de $x_0$ a $x_1 \gt x_0$ En general, todo lo que podemos decir es que el evento en el que $x_0 \le X \lt x_1$ tiene probabilidad cero, no es que sea imposible que $X$ para estar en este intervalo. Por esta razón no podemos afirmar que $X = F^{-1}(Y)$ en todas partes, pero podemos afirmar que el suceso de que esta igualdad no se cumpla tiene probabilidad cero, porque consiste como mucho en un número contable de saltos.

(Para un ejemplo práctico de por qué es importante esta arcana distinción técnica, consideremos un problema de juego. Supongamos que va a jugar a la ruleta repetidamente con una apuesta fija hasta que se quede sin blanca o doble su dinero. Sea $X$ sea la variable aleatoria que representa su ganancia neta si alguna vez te arruinas o duplicas tu dinero . En caso contrario, defina $X$ para que sea el número que quieras. $X$ tiene una distribución Bernoulli porque hay alguna posibilidad $p$ te vas a arruinar, la posibilidad de duplicar tu dinero es $1-p$ (¡hazlo funcionar!), y la posibilidad de jugar para siempre es nula. Sin embargo, jugar para siempre es una posibilidad: forma parte del conjunto matemático de resultados posibles).

Como ejercicio sencillo para aprender a razonar con la transformada de probabilidad uniforme, grafique $F$ para un Bernoulli( $p$ ). El gráfico es igual a $0$ para todos $x \lt 0$ salta a $1-p$ en $0$ es horizontal de nuevo para $0 \lt x \lt 1$ y luego salta a $1$ en $x=1$ y se queda ahí para todos los mayores $x$ . Una variante uniforme en el intervalo $[0,1]$ en el eje y cubrirá el salto inicial con una probabilidad $p$ ; $F^{-1}$ lo reduce a $x = 0$ . En caso contrario, la variante cubre el salto final con la probabilidad restante $1-p$ y $F^{-1}$ lo reduce a $1$ . Vemos, pues, cómo una distribución uniforme de $Y$ reproduce esta función de distribución discreta simple. Las ilustraciones de las FCD de las distribuciones discretas y continuas/discretas aparecen en esta página Hace tiempo escribí para un curso de estadística.

Answer 2

Es mucho más fácil construir simultáneamente $X_i$ y $Y_i$ con las propiedades deseadas, dejando primero que $Y_i$ ser i.i.d. Uniforme $[0,1]$ y luego tomar $X_i = F^{-1}(Y_i)$ . Este es el método básico para generar variables aleatorias con distribuciones arbitrarias. La otra dirección, en la que se da primero $X_i$ y luego se les pide que construyan $Y_i$ es más difícil, pero sigue siendo posible para todas las distribuciones. Sólo hay que tener cuidado con la definición de $Y_i$ .

Intentar definir $Y_i$ como $Y_i = F(X_i)$ no produce una distribución uniforme $Y_i$ cuando $F$ tiene discontinuidades de salto. Hay que repartir las masas puntuales en la distribución de $X_i$ a través de los huecos creados por los saltos.

Dejemos que $$D = \{x : F(x) \neq \lim_{z \to x^-} F(z)\}$$ denotan el conjunto de discontinuidades de salto de $F$ . ( $\lim_{z\to x^-}$ denota el límite de la izquierda. Todas las funciones de distribución son continuas por la derecha, por lo que el problema principal son las discontinuidades por la izquierda).

Dejemos que $U_i$ ser i.i.d. Uniforme $[0,1]$ variables aleatorias, y definir $$Y_i = \begin{cases} F(X_i), & \text{if }X_i \notin D \\ U_i F(X_i) + (1-U_i) \lim_{z \to X_i^-} F(z), & \text{otherwise.} \end{cases} $$ La segunda parte de la definición rellena los huecos de manera uniforme.

La función cuantílica $F^{-1}$ no es un inverso genuino cuando $F$ no es 1 a 1. Tenga en cuenta que si $X_i \in D$ entonces $F^{-1}(Y_i) = X_i$ porque la preimagen del hueco es el punto de discontinuidad correspondiente. Para las partes continuas en las que $X_i \notin D$ las secciones planas de $F$ corresponden a intervalos en los que $X_i$ tiene una probabilidad 0, por lo que no importan realmente a la hora de considerar $F^{-1}(Y_i)$ .

La segunda parte de su pregunta se desprende de un razonamiento similar después de la primera parte que afirma que $X_i = F^{-1}(Y_i)$ con probabilidad 1. Las FDA empíricas se definen como

$$G_n(y) = \frac{1}{n} \sum_{i=1}^n 1_{\{Y_i \leq y\}}$$ $$F_n(x) = \frac{1}{n} \sum_{i=1}^n 1_{\{X_i \leq x\}}$$

así que

$$ \begin{align} G_n(F(x)) &= \frac{1}{n} \sum_{i=1}^n 1_{\{Y_i \leq F(x) \}} = \frac{1}{n} \sum_{i=1}^n 1_{\{F^{-1}(Y_i) \leq x \}} = \frac{1}{n} \sum_{i=1}^n 1_{\{X_i \leq x \}} = F_n(x) \end{align} $$ con probabilidad 1.

Debería ser fácil convencerse de que $Y_i$ tiene un uniforme $[0,1]$ distribución mirando las fotos. Hacerlo con rigor es tedioso, pero puede hacerse. Hay que comprobar que $P(Y_i \leq u) = u$ para todos $u \in (0,1)$ . Arreglar este tipo de $u$ y que $x^* = \inf\{x : F(x) \geq u \}$ - esto es sólo el valor de la función cuantil en $u$ . Se define así para tratar las secciones planas. Consideraremos dos casos distintos.

Supongamos primero que $F(x^*) = u$ . Entonces $$ Y_i \leq u \iff Y_i \leq F(x^*) \iff F(X_i) \leq F(x^*). $$ Desde $F$ es una función no decreciente y $F(x^*) = u$ , $$ F(X_i) \leq F(x^*) \iff X_i \leq x^* . $$ Así, $$ P[Y_i \leq u] = P[X_i \leq x^*] = F(x^*) = u . $$

Supongamos ahora que $F(x^*) \neq u$ . Entonces, necesariamente $F(x^*) > u$ y $u$ cae dentro de uno de los huecos. Además, $x^* \in D$ porque de lo contrario $F(x^*) = u$ y tenemos una contradicción. Sea $u^* = F(x^*)$ sea la parte superior del hueco. Entonces por el caso anterior, $$ \begin{align} P[Y_i \leq u] &= P[Y_i \leq u^*] - P[u < Y_i \leq u^*]\\ &= u^* - P[u < Y_i \leq u^*]. \end{align} $$ Por cierto $Y_i$ se define, $P(Y_i = u^*) = 0$ y $$ \begin{align} P[u < Y_i \leq u^*] &= P[u < Y_i < u^*] \\ &= P[u < Y_i < u^* , X_i = x^*] \\ &= u^* - u . \end{align} $$ Así, $P[Y_i \leq u] = u$ .