La Log-verosimilitud de la función de

Question

No estoy seguro de si esto podría ser preguntado aquí, o en matemáticas desbordamiento...

En el siguiente artículo

• Cho, Jin Seo, y Halbert Blanco. "Las pruebas para el régimen de conmutación." Econometrica 75.6 (2007): 1671-1720. doi: 10.1111/j.1468-0262.2007.00809.x

en la página 1675, existe la siguiente fórmula: $$ \log(P(X_1,\dots,X_n))= \log\left(\boldsymbol{\pi}'\cdot \prod^n_{i=1} P F_i(\theta)\cdot \mathbf{1}\right)$$

El $\lbrace X_i\rbrace$ es un oculto de la cadena de Markov, donde el $\lbrace S_i\rbrace$ es la cadena de Markov asociada con él.

¿Cómo puedo demostrarlo?

$$\displaystyle P(X_2|X_1)=E(P(X_2|X_1,S_1,S_2))=E(E(P(X_2|X_1,S_1,S_2)|S_1))$$ $$=E(F(X_2|X_1,S_1,\theta_1)\cdot p_{i1}+F(X_2|X_1,S_1,\theta_2)\cdot p_{i2})$$ $$\displaystyle =\sum^2_{i=1}\left(F(X_2|X_1,S_1,\theta_1)\cdot p_{i1}+F(X_2|X_1,S_1,\theta_2)\cdot p_{i2} \right)\cdot P(S_1=i)=\boldsymbol{\pi}'\cdot \boldsymbol{PF}_2(\theta)\cdot \mathbf{1}$$

donde $(P(S_1=1)P(S_1=2))= \boldsymbol{\pi}'$, $\boldsymbol{P}$ es el 2x2 de la matriz de transición como en el papel. \

Utilizando un razonamiento análogo se obtiene: $$P(X_n|X_{n-1},\dots,X_1)=E(E(P(X_n|X_{n-1},\dots,X_1,S_{n-1},S_n)|S_{n-1}))$$ $$=(P(S_{n-1}=1)P(S_{n-1}=2))'\cdot \boldsymbol{PF}_n(\theta)\cdot \mathbf{1}=\boldsymbol{\pi}'\cdot \boldsymbol{P}^{n-1} \boldsymbol{F}_n(\theta)\cdot \mathbf{1}$$

También, tenemos: $$P(X_2,\dots,X_n|X_1)=P(X_n|X_{n-1},\dots,X_1)\cdot P(X_{n-1}|X_{n-2},\dots,X_1)\cdot \dots \cdot P(X_2|X_1) $$

$$\displaystyle Log(P(X_2,\dots,X_n|X_1)= Log( \prod^{n}_{i=1}\boldsymbol{\pi}'\cdot \boldsymbol{P}^{i-1} \boldsymbol{F}_i(\theta)\cdot \mathbf{1})$$

Que es,sin embargo, diferente de lo que es en el papel:

$$\displaystyle Log(P(X_2,\dots,X_n|X_1)= Log(\boldsymbol{\pi}'\cdot \prod^n_{i=1} \boldsymbol{P F}_i\cdot \mathbf{1})$$

Así que, ¿dónde he ido mal?

Answer 1

La copia de mi respuesta, desde el MO... No es una mala marginación en la ecuación que define su estrategia general: $$P(X_2,\dots,X_n|X_1)=P(X_n|X_{n-1},\dots,X_1)\cdot P(X_{n-1}|X_{n-2},\dots,X_1)\cdot \dots \cdot P(X_2|X_1)?$$ Por simplicidad, tome $n=3$: $$P(X_2,X_3|X_1)=P(X_3|X_2,X_1) \cdot P(X_2|X_1)?$$ Ahora, recuerde que cada una de las $P$ anterior es en realidad un marginal sobre el $S_i$: Ahora, recuerde que cada una de las $P$ anterior es en realidad un marginal sobre el $S_i$: $$\sum_{S_1,S_2,S_3}P(X_2,X_3,S_1,S_2,S_3|X_1)=\sum_{S_1,S_2,S_3}P(X_3, S_1,S_2,S_3|X_2,X_1) \cdot \sum_{S_1',S_2',S_3'}P(X_2,S_1',S_2',S_3'|X_1)?$$ Pero eso no es correcto. La aplicación de la definición de $P(X_2,X_3|X_1)$ nos da una única suma en el lado derecho: $$\sum_{S_1,S_2,S_3}P(X_2,X_3,S_1,S_2,S_3|X_1)=\sum_{S_1,S_2,S_3}P(X_3, S_1,S_2,S_3|X_2,X_1) \cdot P(X_2,S_1,S_2,S_3|X_1).$$ Más al punto, podemos aplicar razonamiento similar a $P(X_1,X_2,X_3)$, finalmente consiguiendo: $$P(X_1,X_2,X_3)=\sum_{S_1,S_2,S_3}P(X_3|S_3)P(S_3|S_2)P(X_2|S_2)P(S_2|S_1)P(X_1|S_1)P(S_1).$$

ADVERTENCIA: En la ecuación anterior y lo que sigue, supongo que el $X_t$ son condicionalmente independientes dado $S_t$. Esta suposición hace que las fórmulas más compacto, pero no es esencial. Para revocar la asunción, simplemente reemplace $P(X_2|S_2)$ $P(X_2|X_1,S_2)$ y así sucesivamente.

Y esa es la matriz producto determinado en el artículo! Para construir el producto de forma manual, trabajar de derecha a izquierda: $$P(S_1) =\left(\begin{array}{c}P(S_1=1)\\P(S_1=2)\end{array}\right) =\boldsymbol{\pi} =\boldsymbol{P}'\boldsymbol{\pi}$$ $$P(X_1|S_1)P(S_1)=\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ $$\sum_{S_1}P(S_2|S_1)P(X_1|S_1)P(S_1)=\boldsymbol{P}'\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ $$\sum_{S_1}P(X_2|S_2)P(S_2|S_1)P(X_1|S_1)P(S_1)=\boldsymbol{F}_2\boldsymbol{P}'\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ $$\sum_{S_1,S_2}P(S_3|S_2)P(X_2|S_2)P(S_2|S_1)P(X_1|S_1)P(S_1)=\boldsymbol{P}'\boldsymbol{F}_2\boldsymbol{P}'\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ $$\sum_{S_1,S_2}P(X_3|S_3)P(S_3|S_2)P(X_2|S_2)P(S_2|S_1)P(X_1|S_1)P(S_1)=\boldsymbol{F}_3\boldsymbol{P}'\boldsymbol{F}_2\boldsymbol{P}'\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ $$\sum_{S_1,S_2,S_3}P(X_3|S_3)P(S_3|S_2)P(X_2|S_2)P(S_2|S_1)P(X_1|S_1)P(S_1)=\boldsymbol\iota'\boldsymbol{F}_3\boldsymbol{P}'\boldsymbol{F}_2\boldsymbol{P}'\boldsymbol{F}_1\boldsymbol{P}'\boldsymbol{\pi}$$ Creo que tiene más sentido para mantener el producto en ese orden, aunque puedes tomar la transpuesta de la totalidad de la cosa para conseguir el artículo de la expresión. (Recordemos que $\boldsymbol{F}_t=\boldsymbol{F}_t'$.) Tales minucias en realidad, no son demasiado importantes. La gran imagen conclusión es que este tipo de matriz de producto no es un producto de escalares de las probabilidades para cada una de las $t$. Es sensible a las correlaciones a largo plazo entre el $S_t$, que, supuestamente, puede y debe ser ignorado para el propósito de los autores.