Qué significa hacer la EAM con una variable continua

Question

Estoy luchando con la semántica de variables aleatorias continuas.

Por ejemplo, podemos hacer la estimación de máxima verosimilitud, en el que tratamos de encontrar el parámetro de $\theta$ que, para algunos datos observados $D$, maximiza la probabilidad de $P(\theta|D)$.

Pero mi entendimiento de este $$P(\theta = x) = P(x\leq\theta\leq x) = \int_x^xp(t)dt = 0$$ so I am not sure how any $\theta$ puede resultar en una probabilidad distinta de cero.

Intuitivamente entiendo lo que significa encontrar el "más probable" $\theta$, pero estoy teniendo problemas para que se une con la definición formal.

---

EDIT: En mi clase que hemos definido $L(\theta:D)=P(D|\theta)=\prod_i P(D_i|\theta)$ (suponiendo que yo.yo.d, donde a $D_i$ de las observaciones). A continuación, queremos encontrar a $\text{argmax}_\theta \prod_i P(D_i|\theta)$.

Yo era incorrecta arriba sobre la búsqueda de $P(\theta)$, pero a mí me parece que todavía estamos tratando de encontrar la máxima probabilidad, en donde todas las probabilidades están a cero. Algunos ms responden sugerido que en realidad estamos tratando de encontrar el máximo de probabilidad de densidad , pero no entiendo por qué esto es cierto.

Answer 1

Me parece que quien definió para la que estaba a mano ondulado (y, yo diría, descuidado). Para variables aleatorias continuas, la probabilidad se define como el conjunto de la densidad de los datos $\mathcal D$ cuando se toma como una función del parámetro desconocido $\theta$, es decir, para un vector de valores de observación $\mathbf x$ hemos $$L(\theta | \mathbf x) := f(\mathbf x | \theta) $$ where $f$ is the density of a random vector $\mathbf X$. For discrete random vectors, replace take $f$ to be a probability mass function. This is the definition of likelihood that you should take. Then, to get the MLE, take an $\arg \max$ over $\theta$. Para obtener una definición de que es menos arbitraria, en la distinción entre el continuo y discreto rvs, uno necesita introducir la teoría de la medida y de la noción de Radon-Nikodym derivados, en cuyo caso podemos generalizar la noción de densidad, de modo que la masa de las funciones son un tipo de densidad, y la arbitrariedad se desvanece.

Answer 2

"La más probable" $\theta$ " es una manera engañosa de decir que, a pesar de que se encuentra con frecuencia. El MLE es en realidad el valor de $\theta$ que hace a los datos observados más probable de lo que sería con cualquier otro valor de $\theta$. Excepto que, como nota, con continuas variables aleatorias, la probabilidad de los datos observados es siempre $0$.

"$P(\theta=x)$" está en ninguna parte de los involucrados.

Supongamos que vamos a observar el valor obtenido de la variable aleatoria $X$. Dado el valor de $\theta$, la probabilidad de que $X$ es en cualquier conjunto medible $A$$\displaystyle\int_A f(x \mid \theta)\,dx$. Dada la observación de la $X=x$, el MLE es el valor de $\theta$ que maximiza la probabilidad de la función $L(\theta) = f(x\mid\theta)$.

Observe que, por ejemplo, de $X$ tiene una distribución de Poisson con valor esperado $\theta$, $\theta$ podría ser, por ejemplo,$3.2781$, pero $X$ debe estar siempre en $\{0,1,2,3,\ldots\}$. Si se observa que el $X=4$, no tiene sentido decir que estamos considerando $P(\theta=4)$. Así "$P(\theta=x)$" no entra en lo que estamos haciendo.

Answer 3

Cuando se utiliza la estimación de máxima verosimilitud principio, el parámetro que usted está tratando de estimación no es una variable aleatoria. Es decir, hay algo de cierto parámetro de $\theta^*$, que es un fijo (no al azar), pero se desconoce la cantidad.

El estimador de máxima verosimilitud es formado como $\hat \theta = \arg\min_\theta \prod_{i=1}^n f(x_i|\theta)$, que es una variable aleatoria, ya que depende de ${\cal D} = \{x_i\}_{i=1}^n$.

Ahora, como usted ha señalado $P(\hat \theta = \theta^*) = 0$. Sin embargo, hay un número de maneras en que usted puede evaluar la bondad de su estimador. Por ejemplo, bajo ciertas condiciones, se puede mostrar que el $E(\hat \theta - \theta^*)^2$ es pequeña, o que $\hat \theta \xrightarrow{a.s.} \theta^*$$n \rightarrow \infty$.

Answer 4

Aquí todavía otra forma de ver el MLE, que realmente ayudó a aclarar por mí:

Usted está tomando la derivada de la pmf (Con respecto a cualquier variable que se está tratando de aislar) y la búsqueda de un máximo local estableciendo que la derivada es igual a 0.

Eso es lo que el MLE es. Mira desde el punto de vista de una distribución normal, usted está encontrando el valor exacto (O la fórmula para ello) de el pico (la más alta probabilidad de ocurrencia - la media, en el caso de la normal), ya que es donde su derivada cambia de dirección (Así que, por un instante, es 0 no)

El registro de paso es porque todos tomando de un registro no se aplana una curva (como se puede ver aquí, en situaciones donde no sólo aplanar la curva de usted no puede tomar el registro), que no cambia el máximo local en todos, sólo reduce, pero casi siempre se hace la derivada más sencillo.

Espero que esto ayude!

Answer 5

Aunque los otros son correctos, a la dirección de su confusión, la probabilidad de la función es el conjunto de densidad de probabilidad para la observó x como una función del parámetro. Por lo que encontrar el máximo de la estimación de la probabilidad de encontrar el valor del parámetro que hace que esta densidad más alta. La función de densidad será positivo aunque la probabilidad de que exactamente observando el dado de x es 0. La probabilidad de distribuciones continuas es una función de densidad. Su incomprensión de este hecho es lo que está causando confusión. Para distribuciones discretas es la función de masa de probabilidad a los valores observados de los datos como una función del parámetro theta. También L(θ:D)=P(D|q) es el conjunto de densidad. Sólo los factores en el producto de las densidades marginales cuando las observaciones son independientes (que es el caso habitual).