¿Cómo modelar una moneda sesgada con el tiempo variando el sesgo?

Question

Modelos de parcialidad en las monedas suelen tener un parámetro $\theta = P(\text{Head} | \theta)$. Una manera de calcular la $\theta$ a partir de una serie de sorteos es el uso de un beta antes de cálculo y posterior distribución binomial con probabilidad.

En mi configuración, porque de alguna extraña proceso físico, mi moneda propiedades están cambiando poco a poco y $\theta$ se convierte en una función del tiempo $t$. Mis datos es un conjunto ordenado de los sorteos es decir $\{H,T,H,H,H,T,...\}$. Puedo considerar que tengo sólo un empate para cada una de las $t$ en un discreto y regular de la cuadrícula de tiempo.

¿Cómo podría este modelo? Estoy pensando en algo como un filtro de Kalman adaptado al hecho de que la variable oculta es $\theta$ y manteniendo el binomio de probabilidad. ¿Qué podría yo utilizar para modelar $P(\theta(t+1)|\theta(t))$ para mantener la inferencia manejable?

Editar siguientes respuestas (¡gracias!): Me gustaría modelo de $\theta(t)$ como una Cadena de Markov de orden 1, como se hace en HMM o filtros Kalman. La única suposición que puedo hacer es que $\theta(t)$ es suave. Yo podría escribir $P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$ $\epsilon$ un pequeño ruido Gaussiano (filtro de Kalman idea), pero esto podría romper el requisito de que $\theta$ debe permanecer en $[0,1]$. Siguiendo la idea de @J Dav, podría utilizar una función probit para el mapa de la línea real a $[0,1]$, pero tengo la intuición de que esto daría una no-solución analítica. Una distribución beta con una media de $\theta(t) $, y de un mayor variación podría hacer el truco.

Estoy haciendo esta pregunta desde que tengo la sensación de que este problema es tan simple que debe haber sido estudiado antes.

Answer 1

Dudo que usted puede subir con un modelo con solución analítica, pero la inferencia que se pueden hacer manejable el uso de herramientas adecuadas como la estructura de dependencia de su modelo es simple. Como una máquina de aprendizaje investigador, yo prefiero usar el siguiente modelo como la inferencia puede ser hecho bastante eficiente el uso de la técnica de la Expectativa de Propagación:

Deje $X(t)$ ser el resultado de $t$-ésimo ensayo. Vamos a definir las variables de tiempo de parámetro

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ $t \geq 0$.

Para vincular $\eta(t)$$X(t)$, introducir variables latentes

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$,

y el modelo de $X(t)$

$X(t) = 1$ si $Y(t) \geq 0$, e $X(t) = 0$ lo contrario. En realidad se puede ignorar $Y(t)$'s y marginará a decir $\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$ ($\Phi$ cdf de la normal estándar), pero la introducción de variables latentes hace inferencia fácil. También, tenga en cuenta que en el original de parametrización $\theta(t) = \eta(t)/\beta$.

Si usted está interesado en la aplicación del algoritmo de inferencia, echa un vistazo a este documento. Se uso muy parecido al modelo, por lo que se puede adaptar fácilmente el algoritmo. Para entender EP la siguiente página pueden encontrar útil. Si usted está interesado en la búsqueda de este enfoque hágamelo saber; me puede proporcionar un asesoramiento más detallado sobre cómo implementar el algoritmo de inferencia.

Answer 2

Para explicar mi comentario un modelo tal que p(t)=p$_0$ exp(-t) es un modelo que es simple y permite la estimación de p(t) mediante la estimación de p$_0$ mediante la estimación de máxima verosimilitud. Pero, ¿la probabilidad de que realmente decaimiento exponencial. Este modelo sería claramente mal si usted observar períodos de tiempo con una alta frecuencia de éxito de la que usted observó en anteriores y posteriores veces. Comportamiento oscilatorio podría ser modelado como p(t)=p$_0$ |sint|. Ambos modelos son muy manejables y pueden ser resueltos por máxima verosimilitud, pero que dan muy diferentes soluciones.

Answer 3

Su probabilidad de cambios con $t$ pero como dijo Michael, usted no sabe cómo. de forma lineal o no ? Parece un problema de selección de modelo en donde su probabilidad $p$ :

$p=\Phi(g(t,\theta))$ puede depender de una altamente no lineal $g(t,\theta)$ función. $\Phi$ es sólo una delimitación de la función que garantiza entre 0 y 1 probabilidades.

Un simple exploratorio opción sería intentar varias probits para $\Phi$ con diferentes no lineal $g()$ y para realizar una $g()$ modelo de selección basado en el estándar de la Información Criterios.

Para responder a su re-eddited pregunta:

Como dijo usted el uso de probit implicaría soluciones numéricas, pero sólo puede usar una función logística en su lugar :

Función logística: $P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

Linealizado por : $ \log{\frac{P}{1-P}} = \theta(t)+\epsilon $

No estoy seguro de cómo esto puede funcionar bajo el filtro de Kalman enfoque, pero todavía creen que una especificación no lineal como $\theta(t+1)=a t^3 +bt^2+ct + d$ o muchos otros sin un azar de plazo para hacer el trabajo. Como puede ver, esta función es "liso" en el sentido de que es continua y derivable. Por desgracia, la adición de $\epsilon$ podría generar saltos de la resultante de la probabilidad, que es algo que no quiero, así que mi consejo sería tomar $\epsilon$.

Logit probabilidad: $P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

Ya tiene randomnes en el bernoulli evento (Cadena de Markov) y la adición de una fuente adicional de que, debido a $\epsilon$. Por lo tanto, su problema podría ser resuelto como un Probit o Logit estimado por Máxima verosimilitud con $t$ como variable explicativa. Supongo que usted de acuerdo en que la parsimonia es muy importante. A menos que su objetivo principal es la aplicación de un determinado método (HMM y el Filtro de Kalman) y no dar la más simple solución válida para el problema.