Estimar el valor esperado del parámetro de moneda de máxima verosimilitud

Question

Supongamos que tengo un sorteo con una moneda experimento en el que quiero para calcular la estimación de máxima verosimilitud de la moneda parámetro $p$ cuando tirar la moneda $n$ veces. Después de calcular la derivada de la binomial de probabilidad de la función de $ L(p) = { n \choose x } p^x (1-p)^{n-x} $, puedo obtener el valor óptimo para $p$$p^{*} = \frac{x}{n}$, $x$ el número de éxitos.

Mis preguntas ahora son:

• ¿Cómo puedo calcular el valor esperado/varianza de esta estimación por máxima verosimilitud de $p$?
• Necesito calcular el valor esperado/varianza para el $L(p^{*})$?
• Si sí, ¿cómo lo haría?

Answer 1

Para empezar, vamos a hacer que el valor esperado:

Si $x$ es el número de éxitos en $n$ lanza, a continuación, $x/n$ es la proporción de éxitos en la muestra. Considere la posibilidad de $\mathbb{E}x$; por cada lanzamiento, la probabilidad de éxito es $p$, según los supuestos, por lo que al tirar la moneda una vez que el esperado "número de éxitos" es$p\times1+(1-p)\times 0=p$, ¿verdad? Por lo tanto, si usted lanza la moneda $n$ tiempos, es de esperar que el éxito de $np$ veces debido a que los lanzamientos son independientes. Entonces, desde el $np$ es el número esperado de éxitos en $n$ lanza, consigue $$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$$

Por lo que el estimador es imparcial. ¿Puede usted imaginar cómo hacer la varianza a partir de aquí?

Edit: Vamos a hacer la varianza, demasiado. Usamos ese $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$. El segundo término ya tenemos a partir del cálculo del valor esperado, por lo que vamos a hacer el primer: $$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$$To simplify some, we can express the number of successes in $n$ throws as follows: $$x=\sum_1^n\chi _i,$$ where $\chi_i$ takes the value 1 if throw $i$ was a success and 0 otherwise. Hence, $$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$$ and so putting things together you arrive at $$\text{Var}(p^*)=\frac{p(1-p)}{n}$$.

Answer 2

Primero de todo, este es un auto-estudio de la cuestión, así que me voy a ir demasiado en cada uno y cada pequeño detalle técnico, pero yo no voy de una derivación frenesí. Hay muchas maneras de hacer esto. Voy a ayudar a usted por el uso general de las propiedades del estimador de máxima verosimilitud.

Información de fondo

En orden a resolver su problema creo que es necesario para el estudio de máxima verosimilitud desde el principio. Usted probablemente se está utilizando algún tipo de libro de texto, y la respuesta debe realmente estar allí en algún lugar. Voy a ayudarte a encontrar lo que busca.

La máxima Probabilidad es un método de estimación que es básicamente lo que nosotros llamamos un M-estimador de (pensar en la "M" como "maximizar/minimizar"). Si las condiciones requeridas para utilizar estos métodos están satisfechos, podemos demostrar que las estimaciones de los parámetros son consistentes y asintóticamente una distribución normal, por lo tanto tenemos:

$$ \sqrt{N}(\hat\theta\theta_0)\desbordado{d} {\}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}), $$

donde $A_0$ $B_0$ son algunas de las matrices. Cuando se utiliza de máxima verosimilitud, podemos mostrar que $A_0=B_0$, y así tenemos que una simple expresión: $$ \sqrt{N}(\hat\theta\theta_0)\desbordado{d} {\}\text{Normal}(0,A_0^{-1}). $$ Tenemos que $A_0\equiv -E(H(\theta_0))$ donde $H$ indica el estado de hesse. Esto es lo que usted necesita para estimar con el fin de obtener su varianza.

Su problema específico

Entonces, ¿cómo podemos hacerlo? Aquí vamos a llamar a nuestro vector de parámetros $\theta$ lo que hace: $p$. Esto es sólo un escalar, por lo que nuestro "score" es simplemente la derivada y la "hesse" es sólo el de segundo orden derivados. Nuestra probabilidad de la función se puede escribir como: $$ l(p)=(p)^x (1-p)^{n-x}, $$ que es lo que queremos maximizar. Se utiliza la primera derivada de esta en el registro o en la probabilidad de encontrar su $p^*$. En lugar de establecer la primera derivada es igual a cero, podemos diferenciar de nuevo, para encontrar el segundo orden derivados de $H(p)$. En primer lugar tomamos registros: $$ ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p) $$ A continuación, nuestro 'score' es: $$ ll'(p)=\frac{x}{p}+\frac{n-x}{1-p}, $$ y nuestro 'saco': $$ H(p)=ll"(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}. $$ A continuación, nuestra teoría general de arriba le dice simplemente que se encontrar $(-E(H(p)))^{-1}$. Ahora sólo tienes que tomar la expectativa de $H(p)$ (Sugerencia: use $E(x/n)=p$), multiplique por $-1$ y tome la inversa. Entonces usted tendrá su varianza del estimador.