Puede una programación dinámica el problema de ser transformado en un problema de álgebra lineal?

Question

Aquí es un simple problema económico:

Vamos a Robin Crusoe tiene una dotación de $w_0$ de lembas pan. Ella es inmortal y descuentos en la tasa de $\beta$ por período. Cada período (de$t=0$) elegir a consumir cierta cantidad $c_t\in [0,w_t]$, y desde lembas pan no decae, $w_{t+1} = w_t - c_t$. Optimizar Robin utilidad $$\sum_{t=0}^\infty \beta^t u(c_t)$$ sujeto a la restricción $w_{t+1} + c_t = w_t$.

Aquí $u$ es una función cóncava, por ejemplo, $u(c) = c^{\theta}$ o $u(c) = \log(c)$.

Para resolver este usando programación dinámica, uno utiliza los Botones del principio de que cada período, una elección se hará dado óptimo comportamiento en todos los períodos futuros. Así se obtiene una serie de funciones de valor $v_t$ problemas $$v_t(w_t) = \max_{w'\in [0,w_t]} u(w'-w_t) + \beta v_t(w').$$ Es decir, en el conjunto de restricciones $\Omega_t = [0,w_t]$, $v_t$ es un punto fijo de la maximización de operador $$T_uv(b) = \max_{b'\in \Omega_t}u(b'-b) + \beta v(b'),$$ actuando en (digamos) $L^\infty(\Omega_t)$.

Este no es un operador lineal, por lo que las herramientas de álgebra lineal no puede ser ejercida. Me pregunto si el problema puede ser "lineal" en el siguiente sentido:

Hay un lineal operador $L_u$ actuando en $L^\infty(\Omega_t)$ que "contiene la misma información que $T_u$" en el sentido de que estable el punto de $T_u$ va a ser un autovector de a $L_u$ o se encuentran en el núcleo de $L_u$?

He jugado un poco con la idea de que un integrante del operador $L$, dicen, $Lv(b) = \int U(b,b')v(b')db'$, podría ser capaz de capturar este problema de maximización, pero me temo que yo no tenga todavía la intuición para ver cómo esto se debe jugar. Así que la pregunta.

Answer 1

Usted puede estar interesado en la política iteración del algoritmo.

Para aclarar algo el valor de la función no es dependiente del tiempo y resuelve $$v(w)=\max_{w'\[0,t]}\{ u(w-w')+\beta v(w')\}.$$ Esto debe ser resuelto en el intervalo de $[0,w_0]$ $w_0$ de la asignación inicial de pan.

Para la política de la iteración, fijar una política de la $c:[0,w_0]\rightarrow \mathbb{R}$ $0\leq c(w)\leq w$ y, a continuación, $v^c$ es resuelto por la ecuaciones lineales $$v^c(w)=u(c(w))+\beta v^c(w-c(w)).$$ En este paso se hará uso de álgebra lineal, pero el siguiente paso requiere todavía no lineal de maximización.

Dado $v^c$ elegir la siguiente política $$c'(w)={\rm argmax}_{d\[0,t]}\{ u(d)+\beta v(w-d)\}.$$

Si usted comienza con la política de $c_0(w)=w$,$v^0(w)=u(w)$, y el primer paso se encuentra $$c_1(w)={\rm argmax}_{d\[0,t]}\{ u(d)+\beta u(w-d)\}.$$

Este procedimiento a menudo converge muy rápidamente, pero puede no ser exactamente lo que usted está buscando. Saludos!