¿Por qué isn ' t una función de densidad de probabilidad?

Question

Hola todos, primer post aquí...

He estado tratando de conseguir mi cabeza alrededor porque la probabilidad no es una función de densidad de probabilidad. Mi entendimiento dice un evento X y un modelo parámetro m:

P(X|m) es una función de densidad de probabilidad

P(m| X) no es

Se siente como debería ser, y no encuentro una explicación clara de por qué no es. ¿También significa que la probabilidad puede tomar un valor mayor que 1?

Lo siento si esto es una pregunta estúpida!

Answer 1

El aceptó respuesta es incorrecta. La probabilidad es la función de $\theta \mapsto L(\theta \mid x)=f(x \mid \theta)$ para un determinado $x$ en el espacio de observaciones y $f(\cdot \mid \theta)$ es un Radon-Nikodym derivado de la $P_\theta$ cuando el modelo estadístico es administrado por una familia de probabilidades de ${(P_\theta)}_{\theta\in\Theta}$ en el espacio de observaciones.

En general no hay ni una $\sigma$-campo en el espacio de parámetros $\Theta$, de ahí que la pregunta "es la probabilidad de un pdf ?" no tiene ni un sentido!

Para obtener más información, consulte http://stats.stackexchange.com/questions/31238/what-is-the-reason-that-a-likelihood-function-is-not-a-pdf y http://stats.stackexchange.com/questions/29682/how-to-rigorously-define-the-likelihood

Answer 2

Si $X$ es de datos y $m$ son los parámetros, entonces la probabilidad de la función $l(m) = p(X | m)$. I. e. es $p(X | m)$, considerado como una función de la $m$.

Tanto en $p(X|m)$ $p(m|X)$ pdf: $p(X|m)$ es una densidad de $X$ $p(m|X)$ es una densidad de $m$. Pero la probabilidad es $p(X|m)$, no como una función de la $X$ (de hecho, sería la densidad como una función de X), pero como una función de m. Así que no es un pdf; en particular, no es necesariamente cierto que el $$\sum_m p(X|m) = 1.$$

Edit: solo para aclarar, $p(m|X)$ no es la verosimilitud. $p(X|m)$ es.

Answer 3

Desde una perspectiva Bayesiana, la razón de que la función de verosimilitud no es una densidad de probabilidad es que no se han multiplicado por un previo todavía. Pero una vez que se multiplica por una distribución previa, el producto es (proporcional) la densidad de probabilidad posterior para los parámetros.

Answer 4

Un par de preguntas fueron hechas, así que un par de respuestas. (punto principal: la probabilidad no es necesariamente un producto de la densidad, a pesar de que esta es la interpretación común.)

Con frecuencia, la probabilidad es el producto de las densidades más de algunos proporciona un conjunto de ejemplos. Los ejemplos son tomados yo.yo.d., y, por tanto, de la densidad del producto es la densidad para el producto correspondiente medida sobre el espacio del producto. Lo que estoy diciendo es que sí, desde esta perspectiva, se han construido una densidad del producto.

Ya que se trata de densidades, no de las probabilidades, los valores no están restringidos a [0,1], y su densidad puede fácilmente ser mayor que uno. De hecho, si usted está tratando con dirac medida (que pone toda la masa en un punto en la recta real), que tienen esencialmente "infinito" densidad". Que me ponga entre comillas ya que esta no es una medida de probabilidad continua, es decir, no tienen una densidad wrt a la medida de Lebesgue, mucho menos uno con masa infinita en un punto. (Un hecho: la correspondiente integral wrt lebesgue medida tendría el valor de cero, ya que está fuera de cero sólo en un conjunto de medida de lebesgue cero, lo que significa que no es una distribución de probabilidad; pero fue, lo que contradice esta siendo su densidad.) tal vez una más apto ejemplo: (continua) distribución en [0,0.5] se tiene que tener densidad mayor que uno en un conjunto distinto de cero de medida de lebesgue. (se puede tratar para la construcción de una secuencia de estos que la convergencia a algo que viola lo que me dijo, pero que será la densidad de algo que no es continua!)

las cosas pueden ser un poco confuso porque puede escribir de las distribuciones de probabilidad discretas como densidades wrt una medida poner 1 en cada punto en el apoyo conjunto de la probabilidad (es decir, se trata de contar medida wrt ese conjunto). Tenga en cuenta que esta es una densidad wrt una medida que NO es una medida de probabilidad. Pero de todos modos, los valores de la densidad en cada punto son exactamente los valores de probabilidad. Esto permite un intercambio de probabilidad de masas y densidades, lo que puede ser confuso.

Voy a cerrar con un poco más de la lectura. Un buen libro sobre el aprendizaje de la máquina es "Un probabilística de la Teoría de Reconocimiento de patrones" por Devroye, Gyorfi, Lugosi. El capítulo 15 es por máxima verosimilitud y te darás cuenta de que NO define la probabilidad como un producto de la probabilidad o de densidad, sino más bien como un producto de funciones. Esto es debido a que ellos son cuidadosos para englobar las diferentes interpretaciones; por el contrario, ignoran las interpretaciones y el trabajo de las matemáticas.

Answer 5

Probabilidad es la posibilidad de que la realidad que ha presumido podría haber producido los datos particulares tienes.

Probabilidad: La probabilidad de los datos dadas una hipótesis.

Sin embargo la probabilidad es la posibilidad de que la realidad que está considerando es verdadera, dado los datos de que disponemos.

Bayesiana de probabilidad: Probabilidad de una hipótesis dada de datos