32 votos

¿Cómo definir rigurosamente la probabilidad?

La probabilidad podría definirse de varias maneras, por ejemplo :

  • la función $L$ de $\Theta\times{\cal X}$ que mapea $(\theta,x)$ a $L(\theta \mid x)$ es decir $L:\Theta\times{\cal X} \rightarrow \mathbb{R} $ .

  • la función aleatoria $L(\cdot \mid X)$

  • también podríamos considerar que la probabilidad es sólo la probabilidad "observada" $L(\cdot \mid x^{\text{obs}})$

  • en la práctica la probabilidad aporta información sobre $\theta$ sólo hasta una constante multiplicativa, por lo que podríamos considerar la probabilidad como una clase de equivalencia de funciones en lugar de una función

Otra cuestión se plantea al considerar el cambio de parametrización: si $\phi=\theta^2$ es la nueva parametrización que comúnmente denotamos por $L(\phi \mid x)$ la probabilidad en $\phi$ y esto no es la evaluación de la función anterior $L(\cdot \mid x)$ en $\theta^2$ pero en $\sqrt{\phi}$ . Se trata de una notación abusiva pero útil que podría causar dificultades a los principiantes si no se hace hincapié en ella.

¿Cuál es su definición rigurosa favorita de la probabilidad?

Además, ¿cómo se llama a $L(\theta \mid x)$ ? Suelo decir algo así como "la probabilidad en $\theta$ cuando $x$ se observa".

EDIT: A la vista de algunos comentarios más abajo, me doy cuenta de que debería haber precisado el contexto. Considero un modelo estadístico dado por una familia paramétrica $\{f(\cdot \mid \theta), \theta \in \Theta\}$ de densidades con respecto a alguna medida dominante, con cada $f(\cdot \mid \theta)$ definida en el espacio de las observaciones ${\cal X}$ . Por lo tanto, definimos $L(\theta \mid x)=f(x \mid \theta)$ y la pregunta es "¿qué es $L$ ?" (la pregunta no se refiere a una definición general de la probabilidad)

2 votos

(1) Porque $\int L(\theta|x)dx = 1$ para todos $\theta$ Creo que incluso la constante en $L$ se define. (2) Si se piensa en parámetros como $\phi$ y $\theta$ como si se tratara simplemente de coordenadas para una multitud de distribuciones, entonces el cambio de parametrización no tiene un significado matemático intrínseco; es simplemente un cambio de descripción. (3) Los hablantes nativos de inglés dirían más naturalmente "likelihood de $\theta$ " en lugar de "en". (4) La cláusula "cuando $x$ se observa" tiene dificultades filosóficas, porque la mayoría $x$ nunca se observará. ¿Por qué no decir simplemente "probabilidad de $\theta$ dado $x$ "?

1 votos

@whuber: Para (1), no creo que la constante esté bien definida. Ver el libro de ET Jaynes donde escribe: "que una probabilidad no es una probabilidad porque su normalización es arbitraria".

3 votos

Parece que confundes dos tipos de normalización, Neil: Jaynes se refería a la normalización por integración sobre $\theta$ no $x$ .

13voto

JMW.APRN Puntos 21

Su tercer punto es el que más he visto utilizar como definición rigurosa.

Los otros también son interesantes (+1). En particular la primera es atractiva, con la dificultad de que al no estar definido (aún) el tamaño de la muestra, es más difícil definir el conjunto "de".

Para mí, la intuición fundamental de la probabilidad es que es una función del modelo + sus parámetros, no una función de las variables aleatorias (también es un punto importante para la enseñanza). Así que me quedo con la tercera definición.

El origen del abuso de la notación es que el conjunto "desde" de la probabilidad está implícito, lo que no suele ser el caso de las funciones bien definidas. En este caso, el enfoque más riguroso es darse cuenta de que, tras la transformación, la probabilidad se refiere a otro modelo. Es equivalente al primero, pero sigue siendo otro modelo. Así que la notación de la probabilidad debería mostrar a qué modelo se refiere (mediante un subíndice u otro). Por supuesto, nunca lo hago, pero para enseñar, podría hacerlo.

Por último, para ser coherente con mis respuestas anteriores, digo que la "probabilidad de $\theta$ " en su última fórmula.

0 votos

Gracias. ¿Y cuál es su consejo sobre la igualdad hasta una constante multiplicativa?

0 votos

Personalmente, prefiero llamarlo cuando sea necesario en lugar de codificarlo en la definición. Y creo que para la selección/comparación de modelos esta igualdad "hasta una constante multiplicativa" no es válida.

0 votos

Bien. Con respecto al nombre, se podría imaginar que se discute sobre las probabilidades $L(\theta\mid x_1)$ y $L(\theta\mid x_2)$ para dos posibles observaciones. En tal caso, ¿diría usted que "la probabilidad de $\theta$ cuando $x_1$ observado", o "la probabilidad de $\theta$ para la observación $x_1$ "¿o algo más?

9voto

mat_geek Puntos 1367

Creo que lo llamaría de otra manera. La probabilidad es la densidad de probabilidad para la x observada dado el valor del parámetro $θ$ expresado en función de $θ$ para el $x$ . No comparto la opinión sobre la constante de proporcionalidad. Creo que sólo entra en juego porque la maximización de cualquier función monótona de la probabilidad da la misma solución para $θ$ . Para que puedas maximizar $cL(θ∣x)$ para $c>0$ u otras funciones monótonas como $\log(L(θ∣x))$ lo que se hace comúnmente.

4 votos

No sólo la maximización: la proporcionalidad también entra en juego en la noción de razón de verosimilitud, y en la fórmula de Bayes para la estadística bayesiana

0 votos

Pensé que alguien podría votar en contra de mi respuesta. Pero creo que es bastante razonable definir la probabilidad de esta manera como una probabilidad definitiva sin llamar probabilidad a nada que la provoque. @StéphaneLaurent a tu comentario sobre los priores, si la función es integrable se puede normalizar a una densidad. La posterior es proporcional a la probabilidad por el prior. Dado que la posterior debe ser normalizada dividiendo por una integral, también podríamos especificar que la previa es la distribución. Sólo en un sentido extendido se aplica esto a las priores impropias.

1 votos

No estoy muy seguro de por qué alguien downvote esta respuesta. Parece que intentas responder más a la segunda y a las preguntas del OP que a la primera. Quizá no haya quedado del todo claro para otros lectores. Saludos. :)

6voto

Andre Miller Puntos 182

He aquí un intento de definición matemática rigurosa:

Dejemos que $X: \Omega \to \mathbb R^n$ sea un vector aleatorio que admite una densidad $f(x | \theta_0)$ con respecto a alguna medida $\nu$ en $\mathbb R^n$ , donde para $\theta \in \Theta$ , $\{f(x|\theta): \theta \in \Theta\}$ es una familia de densidades en $\mathbb R^n$ con respecto a $\nu$ . Entonces, para cualquier $x \in \mathbb R^n$ definimos la función de probabilidad $L(\theta | x)$ para ser $f(x | \theta)$ para mayor claridad, para cada $x$ tenemos $L_x : \Theta \to \mathbb R$ . Se puede pensar en $x$ para ser un potencial particular $x_{obs}$ y $\theta_0$ para ser el valor "verdadero" de $\theta$ .

Un par de observaciones sobre esta definición:

  1. La definición es lo suficientemente robusta como para manejar familias de distribuciones discretas, continuas y de otro tipo para $X$ .
  2. Estamos definiendo la probabilidad a nivel de funciones de densidad en lugar de a nivel de distribuciones/medidas de probabilidad. La razón de esto es que las densidades no son únicas, y resulta que esta no es una situación en la que uno puede pasar a clases de equivalencia de densidades y seguir estando seguro: diferentes elecciones de densidades conducen a diferentes MLE en el caso continuo. Sin embargo, en la mayoría de los casos hay una elección natural de la familia de densidades que son deseables teóricamente.
  3. Me gusta esta definición porque incorpora las variables aleatorias con las que estamos trabajando y, por diseño, ya que tenemos que asignarles una distribución, también hemos incorporado rigurosamente la noción del valor "verdadero pero desconocido" de $\theta$ , aquí denotado como $\theta_0$ . Para mí, como estudiante, el reto de ser riguroso con la probabilidad fue siempre cómo conciliar los conceptos del mundo real de un $\theta$ y "observado" $x_{obs}$ Esto no fue ayudado por los instructores que afirmaban que estos conceptos no eran formales, pero que luego los usaban formalmente cuando demostraban cosas. Así que los tratamos formalmente en esta definición.
  4. EDITAR: Por supuesto, somos libres de considerar los elementos aleatorios habituales $L(\theta | X)$ , $S(\theta | X)$ y $\mathcal I(\theta | X)$ y bajo esta definición sin problemas reales de rigor siempre que seas cuidadoso (o incluso si no lo eres si ese nivel de rigor no es importante para ti).

0 votos

Sí, debería haber precisado que sólo considero los modelos estadísticos dados por una familia $\{f(x|\theta): \theta \in \Theta\}$ de las derivadas de Radon-Nikodym ("densidades") con respecto a alguna medida dominante $\nu$ y mi pregunta es sobre la naturaleza de $L$ definido por $L(\theta \mid x) = f(x \mid \theta)$ .

0 votos

No entiendo esta observación de la teoría de la medida sobre las diferentes versiones de las densidades: la probabilidad es una función de $\theta$ para lo observado datos $x_{obs}$ . No se puede empezar a cambiar las versiones en $x_{obs}$ una vez $x_{obs}$ se observa... En otras palabras, la probabilidad de que $x_{obs}$ pertenece a un conjunto donde las versiones difieren es cero, porque este conjunto tiene medida cero...

0 votos

@Xi'an Creo que tu definición es demasiado limitada para ser útil en general. Uno utiliza las probabilidades no sólo para la estimación sino también para consideraciones teóricas en las que tous hay que contemplar los posibles resultados. Por eso, el tipo se preocupa de asegurar que haya cierta homogeneidad entre las densidades de una familia.

3voto

kjetil b halvorsen Puntos 7012

Véase el siguiente documento para un debate muy profundo y moderno:

Bjørnstad, J. F. (1996). Sobre la generalización de la función de probabilidad y el principio de probabilidad . Revista de la Asociación Americana de Estadística 91 : 791-806.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X