1) Por definición del hamiltoniano, $H(x,u,\lambda,t)$ es igual a la función de coste más el multiplicador de Lagrange por la restricción. En un sistema de tiempo discreto, esto es igual a $\lambda_{t+1}$ por motivos estéticos y por la numerosa simplificación de la solución. Una de las razones es porque su modelo de sistema de tiempo discreto es $x(t+1) = f(x_t,u_t)$ , donde $t$ sólo puede tomar valores discretos. En el ejemplo anterior, en primer lugar no es el hamiltoniano de todo el sistema porque debería incluir también el sumatorio, sino que es el hamiltoniano en el tiempo $t$ sólo. Por lo tanto, el hamiltoniano se menciona de la forma en que se ha escrito.
2) Basta con tomar la derivada parcial con respecto a $x_t$ sobre el hamiltoniano y multiplicarlo por el negativo dará el resultado. Por qué es igual al lado izquierdo es por la teoría del cálculo de la variación en el control óptimo. Es parte de la condición necesaria para la optimalidad.
3) La ecuación que has resuelto son en realidad ecuaciones diferenciales y las ecuaciones diferenciales necesitan valores de contorno para ser resueltas. El tiempo inicial y el final son condiciones de contorno que tendrás que resolver para encontrar la solución exacta. De lo contrario, tendrás una constante de integración general.