¿Son las funciones de distribución acumulativa más fundamentales que las funciones de densidad de probabilidad?

Question

Mi profesor de estadísticas básicamente dijo que, si se te da una de las siguientes tres cosas, puedes encontrar las otras dos:

• Función de distribución acumulada
• Función generadora de momentos
• Función de densidad de probabilidad

Pero mi profesor de econometría dijo que las funciones de distribución acumulada son más fundamentales que las funciones de densidad de probabilidad porque hay ejemplos donde puedes tener una función de distribución acumulada pero la función de densidad de probabilidad no está definida.

¿Son las funciones de distribución acumulada más fundamentales que las funciones de densidad de probabilidad? ¿Cómo sé si puedo derivar una función de densidad de probabilidad o una función generadora de momentos a partir de una función de distribución acumulada?

Answer 1

Cada distribución de probabilidad en (un subconjunto de) $\mathbb R^n$ tiene una función de distribución acumulada, y define de forma única la distribución. Por lo tanto, en este sentido, la FDA es tan fundamental como la distribución en sí misma.

Sin embargo, una función de densidad de probabilidad solo existe para distribuciones de probabilidad (absolutamente) continuas. El ejemplo más simple de una distribución que carece de una PDF es cualquier distribución de probabilidad discreta, como la distribución de una variable aleatoria que solo toma valores enteros.

Por supuesto, estas distribuciones de probabilidad discretas pueden caracterizarse por una función de masa de probabilidad, pero también existen distribuciones que no tienen ni PDF ni una PMF, como cualquier combinación de una distribución continua y una discreta:

(Diagrama descaradamente robado de la respuesta de Glen_b a una pregunta relacionada.)

Incluso hay distribuciones de probabilidad singulares, como la distribución de Cantor, que no pueden describirse ni siquiera por una combinación de una PDF y una PMF. Sin embargo, estas distribuciones aún tienen una FDA bien definida. Por ejemplo, aquí está la FDA de la distribución de Cantor, a veces también llamada "Escalera del Diablo":

(Imagen de Wikimedia Commons por los usuarios Theon y Amirki, utilizada bajo la licencia CC-By-SA 3.0.)

La FDA, conocida como la función de Cantor, es continua pero no absolutamente continua. De hecho, es constante en todas partes, excepto en un conjunto de Cantor de medida de Lebesgue cero, que aún contiene infinitos puntos. Por lo tanto, toda la masa de probabilidad de la distribución de Cantor se concentra en este subconjunto sumamente pequeño de la recta numérica real, pero cada punto en el conjunto tiene individualmente probabilidad cero.

---

También existen distribuciones de probabilidad que no tienen una función generadora de momentos. Probablemente el ejemplo más conocido es la distribución de Cauchy, una distribución de colas pesadas que no tiene momentos bien definidos de orden 1 o superior (por lo tanto, en particular, ¡no tiene media ni varianza definidas!).

Todas las distribuciones de probabilidad en $\mathbb R^n$ tienen, sin embargo, una función de característica (posiblemente de valor complejo), cuya definición difiere de la de la MGF solo por una multiplicación por la unidad imaginaria. Por lo tanto, la función característica puede considerarse tan fundamental como la FDA.

Answer 2

Creo que tu profesor de econometría estaba pensando algo así.

Considera la función $F$ con dominio $[0, 1]$ definida por

$$F(x) = \frac{1}{2}x \ \text{para} \ x < \frac{1}{2} $$ $$F(x) = \frac{1}{2}x + \frac{1}{2} \ \text{para} \ x \geq \frac{1}{2} $$

Esta es una función discontinua, pero una CDF completamente válida para alguna distribución de probabilidad en $[0, 1]$. Nota que, usando esta distribución

$$ P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2} $$

No hay una función $f$ que sirva como una PDF para esta distribución, aunque sí existe una CDF.

Es lo suficientemente fácil comprobar que esto es cierto en este ejemplo simple si has visto este tipo de cosas antes. Supongamos que existe tal pdf $f$, mostraremos que debe tener una propiedad imposible, y por lo tanto no puede existir.

Por la definición de un PDF, debemos tener

$$ \int_0^x f(t) dt = F(x) - F(0) = \frac{1}{4}x $$

para todo $0 < x < \frac{1}{2}$. Una función que se integra a una función lineal debe ser constante (técnicamente constante casi en todas partes), entonces concluimos que

$$ f(x) = \frac{1}{4} \ \text{para} \ x < \frac{1}{2} $$

De la misma manera, pero integrando desde uno, moviéndose hacia cero, y terminando en $x > \frac{1}{2}$, llegamos a la misma conclusión

$$ f(x) = \frac{1}{4} \ \text{para} \ x > \frac{1}{2} $$

Así que hemos determinado $f$ en todas partes excepto en $f\left(\frac{1}{2}\right)$. Pero realmente no importa cuál sea $f\left(\frac{1}{2}\right)$, no puede tener la propiedad de integración deseada. Puesto que

$$ P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2} $$

necesitaríamos

$$ \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt > \frac{1}{2} $$

para cada intervalo que contiene a $\frac{1}{2}$. Pero de hecho, el valor de cualquier integral no se ve afectado al cambiar el valor de una función en un solo punto, entonces

$$ \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt = \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} \frac{1}{4} dt = \frac{1}{2} \epsilon $$

Así que no hay escapatoria, una función como $f$ no puede existir.

Puedes recuperar el espíritu de una PDF, pero debes utilizar objetos matemáticos más sofisticados, ya sea una medida o una distribución.

Answer 3

Ilmari da una buena respuesta desde una perspectiva teórica. Sin embargo, también se puede preguntar para qué sirven la densidad (pdf) y la función de distribución (pdf) en términos de cálculos prácticos. Esto podría aclarar en qué situaciones uno es más útil que el otro.

Para distribuciones de probabilidad en $\mathbb{R}$, la función de distribución da directamente las probabilidades de todos los intervalos $(-\infty,x]$. A partir de estas probabilidades, la probabilidad de una unión finita de intervalos se puede calcular mediante aritmética elemental. Para todos los propósitos prácticos que puedo pensar, estas son las únicas probabilidades que le gustaría poder calcular. Puede ser teóricamente conveniente expresar estas $-$ o probabilidades de conjuntos más generales $-$ como integrales, pero para el cálculo real, efectivamente necesitamos la función de distribución.

La densidad es, sin embargo, esencial para la estadística, ya que la verosimilitud se define en términos de la densidad. Por lo tanto, si queremos calcular la estimación de máxima verosimilitud, necesitamos directamente la densidad.

Si nos fijamos en la comparación de una distribución empírica y una teórica, ambas pueden ser útiles, pero los métodos como los gráficos pp y qq basados en la función de distribución suelen ser preferidos.

Para distribuciones de probabilidad en $\mathbb{R}^d$ para $d \geq 2$, la función de distribución juega un papel menos prominente. Una razón es que las probabilidades para muchos conjuntos de interés (bolas, elipsoides, conos, etc.) no pueden calcularse fácilmente a partir de ella.