Estimación de la matriz de transición dada la distribución estacionaria

Question

Digamos que se nos da una cadena de Markov para la variable $X = [x_1, ..., x_n]$ También se nos da una distribución estacionaria deseada para este gráfico $P_\infty = [p_1, ..., p_n]^\top$ . ¿Cómo podemos diseñar una distribución inicial y una matriz de transición tal que en el límite nos dé la distribución estacionaria? Nótese que el gráfico y la conexión entre las variables están dados y no podemos cambiarlos. Sólo podemos poner probabilidades en las aristas. Supongamos que el grafo es dirigido.

Más formalmente, se nos da $P_\infty$ (la distribución estacionaria), y el gráfico de las variables y sus conexiones. Estas conexiones pueden explicarse mediante una matriz de transición en la que algunos de los elementos están obligados a ser cero: $$ T = \begin{bmatrix} p_{11} &... & p_{nn} \\ \vdots & \ddots & \vdots \\ p_{11} & ... & p_{nn} \end{bmatrix} $$ algunos de los cuales son forzados a ser cero y el resto deben ser estimados (desconocidos). Buscamos unos $T$ y $P_0 = [p_1, ..., p_n]^\top$ (la distribución inicial) tal que, $$ \lim_{n\rightarrow \infty} P_0^\top T^n =P_\infty^\top $$ tal que $T$ es una matriz de transición válida, es decir, la suma de los elementos de cada fila es uno; y todos los valores son mayores que uno, o iguales a cero.

Answer 1

Primero considera que el límite significa algo más que una formalización para que tengas un conjunto de ecuaciones en él, es decir: $$ P_\infty^T T = P_\infty^T $$ ans T debe ser una matriz de probabilidad de transición válida (cada columna debe sumar 1).

así que estas son las condiciones requeridas que yo conozco. Además de la forma conocida se puede resolver el problema con cierto grado de libertad o declarar que no hay solución.

Answer 2

No tengo una solución para el problema general que pides, pero tengo una solución para el caso de que la cadena de Markov sea estacionaria (distribución inicial = distribución estacionaria), y la matriz de transición sea reversible. En este caso se puede formular un estimador de máxima verosimilitud para T dada la trayectoria observada y la distribución estacionaria fija. Véase aquí:

http://publications.mi.fu-berlin.de/1263/

De hecho, este trabajo se centra en derivar un muestreador de Gibbs de la matriz de transición en este caso, pero también proporciona un algoritmo para encontrar la máxima verosimilitud.

En tu caso concreto no tienes reversibilidad, porque tu grafo es no dirigido. En este caso no tengo una solución porque no conozco un conjunto de movimientos que cambien los elementos de la matriz de transición pero que dejen la distribución estacionaria sin cambios, que es la clave del estimador de máxima verosimilitud anterior. Sin embargo, imagino que es posible llegar a una solución utilizando un enfoque similar.

En cuanto a cómo estimar la distribución inicial, no tengo ni idea.

Answer 3

Añadiendo a la respuesta de mnz necesitas resolver un conjunto de ecuaciones lineales

$$ P_{\infty}^T T = P_{\infty}^T $$

para las entradas de $T$ . Lo más probable es que el problema esté infradeterminado, puede haber muchas soluciones como se señala en el comentario anterior.

Al mismo tiempo, tiene que satisfacer las restricciones impuestas por la estructura de su gráfico y por los requisitos $T_{ij} \geq 0$ y $\sum_{k} T_{ik}=1$ .

Por otro lado, si se puede utilizar la formulación de probabilidad de

http://publications.mi.fu-berlin.de/1263/

se puede sustituir el equilibrio detallado con respecto al vector estacionario dado por la restricción $ P_{\infty}^T T = P_{\infty}^T $ . En ese caso, seguirá teniendo un problema de optimización convexo para $T$ .

Ver también http://stanford.edu/~boyd/cvxbook/ Ejercicio 7.5, p. 394.