Tengo un problema de minimización en el que los parámetros son una mezcla de números enteros y escalares. Algunos de los números enteros tienen un rango pequeño, alrededor de 0-10 pero otros van en los miles. Para dar un poco de contexto, estos son todos los hiper-parámetros de los algoritmos de aprendizaje automático. En cada iteración para un conjunto dado de parámetros de una serie de CV y/o bootstrap se realizan pruebas para evaluar el mérito del conjunto de parámetros.
Actualmente estoy haciendo esto utilizando el estándar de conservas de minimización de los algoritmos (específicamente Nelder-Mead simplex) y falsificando el entero de las variables continuas haciendo dos iteraciones para cada valor, uno con el piso y el otro en el techo del valor continuo y interpolar linealmente. Es crudo e ineficaz, pero al parece, al menos, 'trabajar' en que el algoritmo converge, eventualmente.
Como se puede imaginar, la función de mérito iteraciones son caros, así que no quiero ser como derrochador ya que este proceso requiere. No sé de una forma estándar de tratar con este tipo de problema, pero no puedo imaginar que no ha sido abordado. Hay bien conocidos algoritmos e implementaciones para este tipo de problema?
