Ayuda con la expansión de Taylor de la función de probabilidad de registro

Question

He reed la siguiente parte de un esquema de la prueba de que el estimador de máxima verosimilitud es asintóticamente normal:

"Bosquejo de la segunda parte de la prueba. Recordar que podemos escribir la ecuación de probabilidad $$\sum_{i=0}^n U_i(\hat\theta)=0$$ where $ U_i(\phi)$ denotes the derivative of $ \log\! f(Y_i;\phi) $ with respect to $\phi$. Deje $ U_i'(\phi) $ denotar la derivada de $ \log\!f(Y_i;\phi)$ con respecto al $ \phi$ . Ahora una expansión de Taylor alrededor de $ \phi=\theta$ rendimientos:

$$\sum_{i=0}^n U_i(\phi )-\sum_{i=0}^n U_i(\theta)\approx \left( \sum_{i=0}^n U_i'(\theta) \right)(\phi-\theta)$$"

Esta expansión de Taylor no tiene ningún sentido para mí. Estoy familiarizado con una expansión de Taylor de $f(x) $$a$: $$\sum_{i=0}^\infty\frac{f^{(n)}(a)}{n!}(x-a)^n$$ Puedo ver que todos los términos excepto el segundo término de la expansión de Taylor de el registro de probabilidad son excluidos, pero no me reconocen, donde este término viene de como el término original involucrados restar dos sumatorias.

Answer 1

Usted debe convencerse que $f(x)-f(y)\approx f'(x)(x-y)$ es otra forma de expresar la expansión de Taylor (bajo hipótesis de regularidad apropiada).

Entonces, usando la linealidad de la derivación, se puede generalizarlo a la suma.

Answer 2

Yo creo que tu problema es solo el problema de la notación

Vamos a empezar desde el principio;

Supongamos$X_1, X_2,...,X_n$ son yo.yo.d variables aleatorias con función de densidad de probabilidad $f(x;\gamma)$

Generalmente, la gente va a usar $\theta$ aquí, voy a guardarlo para su uso posterior.

La función de probabilidad es $L(\gamma;x)=f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)$

El registro de probabilidad de la función de $l(\gamma;x)=log[f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)]=\sum_{i=1}^nlogf(x_i;\gamma)$

Como de costumbre, vamos a tomar la derivada del registro de probabilidad y póngalo a cero.i.e $l'(\gamma;x)=0 $

o $\sum_{i=1}^nlog'f(x_i;\gamma)=0$

Aquí, usted puede ver $U_i(\gamma)=log'f(x_i;\gamma)$

$\therefore l'(\gamma)=\sum_{i=1}^nU_i(\gamma)\tag{1}$ omitimos $x$ aquí desde el registro de probabilidad de la función es una función de $\gamma $

A continuación nos ampliar la función de $l'(\gamma)$ en una serie de Taylor de orden dos apero $\theta$ .

$l'(\gamma)=l'(\theta)+\frac{l''(\theta)}{1!}(\gamma-\theta)^1+\frac{l'''(\theta)}{2!}(\gamma-\theta)^2$. Este es el de la expansión de Taylor para $l'(\gamma)$.

A continuación nos evaluar la ecuación de $\phi$

$l'(\phi)=l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2 \tag{2}$

Aquí usted debe ver que $l'(\theta)=\sum_{i=1}^nU_i(\theta)$

y $l'(\phi)=\sum_{i=1}^nU_i(\phi)$

y $l''(\phi)=\sum_{i=1}^nU_i'(\phi)$

Ref (1)

Si ignoramos el tercer término derivado en (2), a continuación, su pregunta será respondida aquí

Tenemos que $\sum_{i=1}^n U_i(\phi )-\sum_{i=1}^n U_i(\theta)\approx \left( \sum_{i=1}^n U_i'(\theta) \right)(\phi-\theta)$

Por cierto creo $i$ generalmente de inicio de$1$$0$ , de todos modos es sólo un índice.

Permítanos que no se detenga aquí, podemos ir más allá para demostrar el teorema de

Sabemos que $l'(\phi)=0$

$\therefore l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2=0$

es decir,

$l'(\theta)+(\phi-\theta)*[l''(\theta)+\frac{l'''(\theta)}{2}(\phi-\theta)]=0$

A continuación podemos reordenar los términos de la anterior:

$$(\phi-\theta)=\frac{l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}$$

Multiplicamos $\sqrt{n}$ para ambos lados:

$$\sqrt{n}(\phi-\theta)=\frac{\sqrt{n}*l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}\\=\frac{\frac{1}{\sqrt{n}}*l'(\theta)}{\frac{-l''(\theta)}{n}-\frac{l'''(\theta)}{2n}(\phi-\theta)} \tag{3}$$

(dividir por n para el numerador y el denominador, al mismo tiempo, para el lado izquierdo)

La vamos a ver lo que es el numerador de la parte izquierda de (3):

$$\frac{1}{\sqrt{n}}l'(\theta)=\frac{1}{\sqrt{n}}\sum_{i=1}^n\frac{\partial logf(x_i;\theta)}{\partial \theta}$$

Y se nota $$\frac{\partial logf(x_i;\theta)}{\partial \theta}$$ are i.i.d with variance $I(\theta)$ and $$E(\frac{\partial logf(x_i;\theta)}{\partial \theta})=0$$

$\therefore$ CLT

$$\frac{1}{\sqrt{n}}l'(\theta)\sim \frac{1}{\sqrt{n}}N(0,nI(\theta))=N(0,I(\theta))$$

A continuación vamos a ver cuáles son en el denominador de (3):

$$-\frac{l''(\theta)}{n}=-\frac{1}{n}\sum_{i=1}^n\frac{\partial^2 logf(x_i;\theta)}{\partial \theta}\overset{P}{\rightarrow} I(\theta)$$ por la Ley del Gran número.

Para el término $$\frac{l'''(\theta)}{2n}(\phi-\theta)$$ en el denominador de (3) , podemos demostrar que la convergencia en Probabilidad a cero.

Por último, vamos a deformar todo

$$\sqrt{n}(\phi-\theta)\sim \frac{N(0,I(\theta)}{I(\theta)}=N(0,\frac{1}{I(\theta)})$$

Esta demostrado el teorema.