Optimización práctica de hiperparámetros: Búsqueda aleatoria frente a búsqueda en cuadrícula

Question

Actualmente estoy revisando el de Bengio y el de Bergstra Búsqueda aleatoria para la optimización de hiperparámetros [1] donde los autores afirman que la búsqueda aleatoria es más eficiente que la búsqueda en cuadrícula para lograr un rendimiento aproximadamente igual.

Mi pregunta es: ¿Está la gente aquí de acuerdo con esta afirmación? En mi trabajo he estado utilizando la búsqueda en cuadrícula sobre todo por la falta de herramientas disponibles para realizar búsquedas aleatorias fácilmente.

¿Cuál es la experiencia de las personas que utilizan la búsqueda en cuadrícula frente a la búsqueda aleatoria?

Answer 1

Como mostró Tim, se pueden probar más valores de parámetros con la búsqueda aleatoria que con la búsqueda en cuadrícula. Esto es especialmente eficaz si algunos de los parámetros que se prueban terminan no siendo impactantes para su problema, como el "parámetro no importante" en la Fig. 1 del artículo.

Hice un post sobre ajuste de hiperparámetros donde explico las diferencias entre la búsqueda en cuadrícula, la búsqueda aleatoria y la optimización bayesiana. Puedes echarle un vistazo (y decirme si te ha resultado útil, ¡se agradecen los comentarios!)