Optimización bayesiana para un objetivo estocástico que cambia con el tiempo

Question

Digamos que hay una sola máquina tragaperras que:

• el juego no cuesta nada
• sólo puede jugarse una vez al día
• tiene un pago que es condicionalmente normal y está en función de la fecha y la hora.

Quiero utilizar la Optimización Bayesiana para maximizar mi pago total.

Tengo las siguientes preguntas:

1. Dado que el objetivo es estocástico, ¿hay que hacer algún ajuste en mi modelo/enfoque?
2. ¿Cómo se eligen los parámetros para el GP?
3. Dado que la distribución de los pagos cambia con el tiempo, ¿cómo puedo tenerlo en cuenta? ¿Utilizo algún tipo de ventana rodante para mirar hacia atrás?

Gracias a todos.

Answer 1

1. Necesitarás una estimación de la varianza en cada punto. O bien ajustando un parámetro adicional $\sigma^2$ y utilizando la matriz del núcleo $K+\sigma^2 I$ o lograr estimaciones de la varianza de cada punto mediante el uso de múltiples sorteos, de modo que el efecto sea dar más peso a las observaciones con menor varianza.

2. Los métodos estándar incluyen la máxima verosimilitud, la inferencia totalmente bayesiana y las variaciones de la validación cruzada. La superficie de verosimilitud no suele ser convexa. Mi experiencia es que los métodos totalmente bayesianos tienden a funcionar mejor porque se está marginando la incertidumbre en los hiperparámetros y que los métodos MLE tienden a correr a valores de hiperparámetros inverosímiles. Más información está disponible en Rassmussen y Williams, Procesos gaussianos para el aprendizaje automático . La documentación de stan tiene modelos ilustrativos de GP totalmente bayesianos.

3. Tal vez podrías usar una ventana rodante. Pero probablemente deberías codificar la información variable en el tiempo en el núcleo directamente. Los trucos estándar son que las sumas y los productos de Schur de los núcleos también son núcleos, así que si tienes un núcleo que codifica un tipo de información, puedes tener otro que codifique la información variable en el tiempo. La sección de Gelman Análisis bayesiano de datos La 3ª ed. sobre métodos de procesos gaussianos incluye un ejemplo de cómo hacerlo.