Una rutina sólida y relativamente sencilla para utilizar las restricciones de caja es BOBYQA está disponible en R a través de la función minqa paquete. Es el optimizador por defecto para el lme4
cuando se trata de restricciones de caja para la evaluación de desviaciones de modelos lineales mixtos (generalizados) ( $-2$ log-likelihoods) por lo que sospecho que también funcionará bien con las evaluaciones de probabilidad de GP. (He utilizado para este GP tareas de optimización con éxito en algún momento, pero en realidad encontré que volver a escribir mi problema en una forma no restringida era más beneficioso).
Como ya se ha comentado el hecho de que el algoritmo de optimización se precipita a los límites bien podría deberse a que los valores límite ofrecen valores óptimos. Yo sugeriría generar algunos datos que sepas que provienen de una GP conocida en la que los parámetros óptimos no están cerca de los límites y luego comprobar el comportamiento de tu rutina de optimización. Tenga en cuenta que si los parámetros óptimos están realmente cerca de los límites del espacio de parámetros, algunos resultados asintóticos podrían no ser válidos.