Modelo de red elástica más parsimonioso - elegir $\alpha$ y $\lambda$

Question

¿Cómo calculo qué modelo de red elástica es el más regularizado/parsimonioso?

Estoy recreando GLMnet en otro idioma como ejercicio. Quiero hacer una búsqueda cuadriculada sobre varios valores de alfa y lambda, y luego tomar el modelo más parsimonioso con un error de predicción dentro de 1 error estándar de la media del error de predicción más pequeño. (Creo que esto es similar a lo que hace el paquete caret de R).

Mi pregunta es: ¿cómo elijo "más parsimonioso"? Un lambda más alto significa una regularización más fuerte, al igual que un alfa más alto, pero ¿cómo combino los dos?

Answer 1

Imaginemos que la superficie de error es convexa; el óptimo es el punto con la mejor métrica de rendimiento fuera de la muestra. Existe una línea de contorno que corresponde a 1 e.s. alrededor del máximo. Si se selecciona cualquier $(\alpha, \lambda)$ par en esa línea de contorno que esté dentro de 1 e.s. del óptimo, pero hay que decidir una forma de seleccionar entre alternativas $(\alpha, \lambda)$ pares. Un método sería seleccionar el punto del contorno que se encuentra en la dirección de mayor $\lambda$ con la justificación de que ningún punto del contorno tiene una regularización más fuerte. Este debe ser el modelo más parsimonioso dentro de 1 e.s. del mínimo porque aplica la mayor penalización a los coeficientes.