Comprendiendo Q-learning para acciones continuas

Question

Estoy leyendo el artículo sobre Funciones de Ventaja Normalizadas para el aprendizaje continuo de Q y tengo problemas para entender por qué la función de ventaja toma esta forma particular:

¿Por qué la función de Ventaja, ($A$) es cuadrática en las acciones ($u$)? ¿Cuáles son los propósitos de $P$ y $\mu$? Estoy completamente perdido en cuanto a por qué la función de ventaja toma esta forma y cómo se justifica.

Editar: así que puedo ver que cuando $u=\mu$, $A$ se maximiza, lo cual es útil, pero ¿por qué necesitamos $P$ - después de todo, $\mu$ seguiría maximizando $A$ sin el $P ¿verdad?

Answer 1

Agrega en la suposición de que la ventaja / función Q es cuadrática, aunque esto puede no ser cierto en todos los casos, tiene la ventaja de hacer que el aprendizaje sea mucho más fácil, especialmente en espacios de alta dimensión. (Para ser claro, no es una afirmación matemática que $A$ sea cuadrática, sino que los autores modelan $A$ usando una red neuronal cuyas salidas están restringidas a esta forma cuadrática).

Los autores elaboran sobre las implicaciones de restringir la función de ventaja a ser cuadrática en la sección 8.3.

Por lo tanto, podemos interpretar intuitivamente a NAF como haciendo inferencia variacional para ajustar una gaussiana a una distribución, y tiene un comportamiento de búsqueda de modo. Empíricamente, dicho comportamiento permite a NAF aprender controladores más suaves y precisos, como se ilustra de manera más efectiva en experimentos de inserción de pegamento y alcanzador de tres articulaciones, y mejoras sustanciales en términos de velocidad de convergencia en muchos otros dominios representativos explorados en el documento principal.