Matriz de probabilidad de transición al lanzar tres monedas

Question

Se lanzan tres monedas justas, y dejamos $X1$ denotan el número de cabezas que aparecen. Las monedas que salieron caras en el primer ensayo (había $X1$ de ellos) recogemos y lanzamos de nuevo, y ahora dejamos $X2$ es el número total de colas, incluyendo las que quedan del primer lanzamiento. Volvemos a lanzar todas las monedas que muestren cola, y dejamos que $X3$ es el número total de cabezas resultante, incluyendo las que quedan del lanzamiento anterior. Continuamos el proceso. El patrón es, contar cabezas, lanzar cabezas, contar colas, lanzar colas, contar cabezas, lanzar cabezas, etc., y $X0 = 3$ . Entonces, $\{ Xn \}$ es una cadena de Markov. ¿Cuál es la matriz de probabilidad de transición?

Creo que hay 4 estados, pero no estoy seguro de cómo definirlos.

Por ejemplo, si dejo que el estado 1 = # de cabezas en el 1er ensayo y 2= # de colas en el 2do ensayo y 3= # de cabezas en el 3er ensayo, parece que es cero la probabilidad del estado 1 al estado 3.

Answer 1

Como he escrito antes, hay ocho estados, que pueden representarse en este gráfico:

Los números de cada vértice describen el número de cabezas, luego de colas y si las cabezas o las colas deben contarse para la siguiente transición. (Asegúrate de que las transiciones alejadas de cualquier vértice suman 1,0).

Es muy sencillo etiquetar cada arista según las probabilidades de transición (de cabeza a cola o viceversa).

Answer 2

Dejemos que $H_n\in \{0,1,2,3\}$ sea el número de cabezas después de la iteración $n$ . Obviamente, $H_n+T_n=3$ Entonces $H_n$ sería suficiente para denotar el estado (tendríamos entonces 4 estados) - pero entonces la Cadena de Markov no sería estacionaria (las transiciones dependerían del tiempo). Queremos evitar eso, normalmente, si es posible. Añadamos entonces una variable indicadora $W_n=\{0,1\}$ para que $W_n=0$ si las siguientes monedas que se recogen son las caras. Entonces el estado $S_n=(H_n,W_n)$ da una cadena de Markov estacionaria con $4\times 2=8$ estados.